Koncertní síň je zbudována v objektu bývalého kostela sv. Ducha s přilehlým špitálem.

Tato stavba patří k nejstarším ve městě. Její počátky spadají do 80. let 13. století. Během uplynulých staletí byl kostel několikrát přestavován a upravován.

Kolem poloviny 15. století byl vyzdoben velmi hodnotnou a rozsáhlou uměleckou malbou, na níž ve 27 obrazech předvedl neznámý malíř biblické události, které se dnes řadí mezi unikáty v této oblasti. V období reformace byl kostel používán jako sýpka a hospoda. Dvojí stropy poškodily malby, o čemž svědčí vodorovné světlé pruhy. V 17. století získal kostel novou průčelní fasádu, štít a v lodi dvě barokní okna. Střecha byla osazena věžičkou.

Koncem 19. století přestal být kostel jakkoli využíván a byl prohlášen za zchátralý. Počátkem 20. století byl uzavřen a jenom příležitostně se tam prováděly zcela nezbytné opravy.