V dnešní Hradní ulici č. 640/3, nad rezidencí, se rozkládá rozlehlý uzavřený trakt původního panského dvora. Byl vybudován v 17. století jako komplex hospodářských budov a čeledníků. Po požáru v roce 1823 byl částečně přestavěn. K tomuto komplexu na východě přiléhaly ovčírny, stodoly, zahrady a sady.

Jedná se o přízemní čtyřkřídlou budovu s centrálním dvorem, s původně otevřenými, dnes se zasklenými částečně vyzděnými arkádami. Je zařazena do seznamu kulturních památek pod číslem 369. Střecha je sedlová, do dvora prolomena velkými empírovými vikýři. Do dvora se vjíždělo dvěma vjezdy, z nichž levý slouží dodnes, druhý vpravo je rovněž zachován, ale nepoužívá se od té doby, co byla navážkou vybudována cesta k novému zámku (1820). Budova je zdobena kamenným erbovním štítem se zvýrazněným znakem rodu Ditrichsteinů umístěným nad ostěním zazděného vjezdu do panského dvora.

Roku 1883 zde byla v předním traktu zřízena poštovní sběrna, která nejprve třikrát týdně, od 1. května 1836 denně shromažďovala poštovní zásilky.

Od roku 1955 sloužil objekt pro potřeby místního JZD a postupně chátral. V sedmdesátých letech, kdy jen o vlásek unikl demolici, byl renovován pro kulturní účely. V roce 1975 byla v první dokončené části umístěna dětská knihovna. V září 1983 zde byl ve východním traktu otevřen Památník Otakara Kubína. Jižní a větší část západního křídla sloužila Městské knihovně. V současné době sídlí v objektu několik firem.