Neoklasycystyczny pawilon został zbudowany w 1896 r. według projektu belgijskiego architekta Victora Horty. Jego architektura nawiązuje do klasycznej greckiej świątyni. Pawilon został zbudowany jako stałe miejsce wystawy marmurowej płaskorzeźby “Ludzkie namiętności” autorstwa Jefa Lambeauxa.
Już w trakcie budowy pawilonu doszło do konfliktu między Hortą a Lambeaux. Architekt miał zamiar pozostawić odsłonięte wnętrze tak, aby umieszczona w budynku płaskorzeźba była widoczna także z zewnątrz. Z kolei artysta naciskał na budowę pełnych czterech ścian. Dopiero po dwóch latach doszło do kompromisu.
Ciekawostką jest fakt, że w 1967 r. pawilon został oddany w dzierżawę królowi Faisalowi ibn Abdowi al-Azizowi z Arabii Saudyjskiej podczas jego oficjalnej wizyty w Belgii. Dzierżawa miała trwać 99 lat, ale ostatecznie władze Arabii Saudyjskiej zwróciły pawilon belgijskim Królewskim Muzeom Sztuki i Historii.