Šioje vietoje pastatas buvo nuo maždaug 1500 m. XVII a. antroje pusėje keletą vienas šalia kito buvusių namų nusipirko LDK etmonas Mykolas Kazimieras Pacas (apie 1624 – 1682). Tai buvo vienas turtingiausių ir įtakingiausių valstybės žmonių. Buvo pastatyti milžiniški ir labai prabangūs rūmai.

​

Rūmų projektavimui ir dekoravimui M. Pacas įdarbino prie jo paties finansuojamos Šv. Petro ir Pauliaus bažnyčios dirbusį architektą J. Zaorą ir stiuko dekoruotoją Dž. Pertį. Freskas tapė kitas Pacams Pažaislyje ir Šv. Kazimiero koplyčioje Vilniuje dirbęs italas – M. Palonis.

​

Rūmai daug kartų buvo perstatomi, dekoruojami, restauruojami. Išlikusias autentiškas Lugano ežero pakrančių meistrų kūrinių detales sunku atsekti. Panašu, kad didžiausias ir svarbiausias objektas yra Atėnės skulptūra. Tikėtina, kad tai Dž. Perčio (Mudžas) stiuko lipdinys.

​

Pacų rūmai buvo vieni puošniausių Vilniuje. Jie mena daug garsių žmonių. Čia 1686 m. buvo apsistojęs Lenkijos-Lietuvos valdovas Jonas Sobieskis, 1705 m. Rusijos caras Petras I, 1812 m. Neapolio karalius Joachimas Muratas, Rusijos imperatorius Aleksandras I, Prancūzijos imperatorius Napoleonas. 

​

Iki mūsų dienų rūmuose išliko įvairių laikotarpių architektūros fragmentų ir dekoro elementų. Šiuo metu puikiai restauruotame pastate įsikūręs prabangus viešbutis "Pacai".