Muzejní budova byla součástí jezuitské koleje, založené v r. 1591 Jiřím Popelem z Lobkowicz, majitelem města a vysokým úředníkem císaře Rudolfa II. Celý rozsáhlý areál koleje, sloužící po zrušení jezuitského řádu jako kasárna, byl ze zdevastované podoby zrekonstruován do dnešní podoby kulturního centra. Jeho součástí je kromě veřejné knihovny, galerií Špejchar a Lurago, atria, ateliérů a kluboven i kostel sv. Ignáce.

Pro potřeby muzea byla od  70. let upravována budova bývalého domu pro chudé studenty, později jezuitského a státního gymnázia. Budova, postavená na místě parkánu mezi městskými hradbami, je sídlem ředitelství muzea, kromě výstavních sálů jsou zde umístěny depozitáře, přednáškový sál, knihovna se studovnou a technické provozy. Výstavní sály slouží k prezentaci přírodovědných a etnografických sbírek V r. 2002 byla po rekonstrukci zpřístupněna vyhlídková Hvězdářská věž, užívaná jezuity jako observatoř. Dnes je v ní umístěna výtvarná expozice díla malíře Ilji Sainera.