Původní jednoduchou renesanční stavbu nechali postavit bratři Kryštof a Melichar z Redernu již v letech 1582 - 87, a tak zámek zároveň patřil mezi první zděné budovy ve městě. Dnešní podobu však získal až díky několika přestavbám, které započaly po ničivém požáru v roce 1615.
Tehdy byla na popud majitelky panství Kateřiny z Redernu k zámku přistavěna kaple a Nosticovské křídlo podle návrhu Jana Arkana ze Žitavy. Ve 20. století zřídila v zámku světoznámá firma Skloexport unikátní vzorkovnu skla a právě tato křehká krása dala vzniknout hrdému pojmenování: "Skleněný zámek".
V současné době je však zámecký komplex bohužel nepřístupný, a tak můžete obdivovat pouze jeho zajímavý exteriér v samém srdci města.
Zámek se otevírá příležitostně při konání kulturních akcí.