Zámek je nejstarší historickou budovou města. Zámek byl postavený v 17. století tehdejším majitelem panství Lukrécií Nekšovou z Landeka a jejím druhým manželem Albrechtem z Valdštejna.

Stojí na základech středověké tvrze z 15. století na vyvýšenině pravého břehu řeky Bečvy. V roce 1708 renesanční zámek vyhořel a zbyly z něj holé zdi. Pozdějšími majiteli - uherskou šlechtou z rodu Illésházy - byla zámecká budova v průběhu 18. stol. několikrát přestavována a upravována.

K zámku byl založen zámecký park se vzácnými dřevinami. Zámek vyhořel podruhé roku 1915 kdy byla zničena střecha a věž.

Posledními soukromými vlastníky zámku byli Marie Baťová a její syn Tomáš. V únoru 1949 byl zámek převzat do národní správy. Zámek byl opraven po necitlivém používání v 50.letech a zpřístupněn veřejnosti 9.5.1975.

Dnes je kulturním a společenským centrem.