První archivní zmínka je z roku 1339, kdy Sezema, syn Protivův z Dolan kupuje toto panství. Zřejmě již tehdy stála v místě dnešního zámku rozsáhlá tvrz. V druhé polovině 14.století byla původní tvrz rozšířena do podoby hradu. Koncem 15.století se stala Bystřice na dlouhou dobu majetkem Kočů z Dobrše, jednoho z nejvýznačnějších šlechtických rodů tehdejšího českého království.
Bystřice v podobě nově přebudovaného renesančního zámku se stala významným kulturním střediskem humanitních osobností. Odtud vyjeli roku 1598 Kryštof Harrant z Polžic a Bezdružic a Heřman Černín z Chudenic na pouť do Svaté země Palestiny. Zadlužení majitelé bystřického panství neudrželi náklady rozsáhlého panství a tak získal majetek v soudní dražbě roku 1839 kníže Karel ze starého německého knížecího a panovnického rodu Hohenzollern – Sigmaringen. Za Hohenzollernů došlo v letech 1848-1852 k nákladné přestavbě v pseudogotickém slohu, která výrazně poznamenala především severní průčelí zámku a vstupní věž.
Po roce 1945 byl zámek využíván jako vojenský lazaret, policejní stanice a později jako ústav pro mentálně postižené děti.
