Již po skončení druhé světové války se v Trutnově objevily první snahy o zřízení instituce, kde by byla vystavována umělecká díla a jejímž cílem by bylo rozvíjet a obohacovat kulturní život města a regionu. V roce 1949 pak byla skutečně založena galerie, jež zde ale působila pouhý rok. Po dlouhou dobu poté plnilo v Trutnově funkci galerie, jakožto instituce soustřeďující se na prezentaci výtvarného umění, místní muzeum. Až 1. ledna 1997 byla oficiálně zahájena činnost nově zřízené Galerie města Trutnova.

Budova, ve které galerie sídlí, patří mezi nejkrásnější, nejstarší a také památkově nejvýznamnější stavby v Trutnově. Jedná se o dům čp. 38. Stojí v jižní části Slezské ulice nedaleko původní Dolní brány. Stáří této budovy nám sice není přesně známo, ale dle dispozice a architektonických prvků lze soudit, že se jedná o měšťanský renesanční dům z let 1580–1590.

V období po druhé světové válce byly osudy této stavby neutěšené. Původně sloužila jako nájemní dům (až v roce 1977 bylo nájemníkům právo užívání zrušeno a objekt byl vystěhován), zároveň byla využívána ke komerčním účelům. V podstatě průběžně chátrala až do celkové rekonstrukce v letech 1994-96, kdy už byl její stav kritický.

Projekt rekonstrukce budovy a její adaptace pro výstavní účely zpracoval Ing. Jan Chaloupský ve spolupráci s Ing. arch. Stránským. Koncepce obnovy objektu vycházela ze zachovaných renesanční dispozic se záměrem plné rehabilitace stavby jak v dochovaných formách, tak i ve volbě vhodných materiálů, omítek a nátěrů. Bylo provedeno podchycení základů pod celým objektem a prohloubení části sklepů o 2,5 metru. Bylo také nutné provést nové spárování a ztužení pilířů, které byly opláštěny kovovými profily. Nejzásadnějších úprav se dočkaly prostory půdy, celá konstrukce krovu byla rozebrána a nahrazena ocelovou rámovou konstrukcí a byl zde vytvořen nový sál. Z původní architektonické hmoty domu se dochovala už jen ostění oken patra, smíšené zdivo a některé další fragmenty.

Po ukončení těchto rozsáhlých a finančně náročných úprav začala být tato budova využívána jako sídlo Galerie města Trutnova.