Základní kámen zámku Chrast byl položen ve druhé polovině 13. století, kdy byla postavena městská rychta. Zámek sloužil po tři století jako sídlo královéhradeckých biskupů. Do historie Chrasti se zapsal Albrecht Slavata z Chlumu a Košumberka, který v roce 1578 rychtu i s pozemky odkoupil, a na jejím místě nechal postavit panský dům. Pozitivní změna pro správu chrasteckého panského domu nastala v roce 1656, kdy hraběnka z Harrachu Anna Eusebie panství prodala kardinálovi Arnoštu Harrachovi – pražskému arcibiskupovi, který ho v roce 1653 odkoupil pro nově zřízené královéhradecké biskupství. Od roku 1660 přechází chrastecké paství do majetku královehradeckých biskupů s tím, že zámek Chrast neboli panský dům si biskupové zvolili za trvalé sídlo až do roku 1719. Nicméně období první republiky s sebou přineslo změnu vlastnických práv, kdy na základě první pozemkové reformy byl všechen majetek biskupům zabaven. V roce 1920 byl pozemkový majetek parcelován a biskupové část pozemkového majetku se zámeckým objektem nadále užívali. Vzhledem k tomu, že se považovali za správce majetku, tedy vlastníky, tak se o zámecký areál starali i nadále.

K zámku Chrast patří zámecká zahrada, kterou v 19. století vybudoval biskup Karel Hanlem, a v roce 1903 ji upravil architekt Thomayer z Prahy. Doposud jsou v zahradě dochovány původní růže, vzácné stromy, jako např. liliovník a další. Za ohradní zdí nalezneme lipovou alej, a na jejím konci kapličku sv. Jana Nepomuckého, která byla postavena v roce 1728 biskupem Václavem z Košínů. V roce 1907 byla smrští zbořena, ale v roce 1921 biskupem Karlem Kašparem zase obnovena.

V roce 1949 se MNV přestěhoval do západního křídla zámku, které bylo předěláno na kanceláře a zámecké nádvoří, zámek i zámecký park byly zpřístupněny veřejnosti. V letech 1949-1953 byla do zbývajících křídel zámku umístěna Krajská politická škola, a chvíli tam byli ubytovaní učni. Nejvíce vnitřek zámku utrpěl v rozmezí let 1953-1965, když byla do zámku umístěna vojenská posádka, která vnitřní komplex zámku zcela zdevastovala. Následně byl zámek svěřen do správy Městského muzea Chrast, které ho opravilo, a v roce 1973 zpřístupnilo veřejnosti.