Nejstarší historické jádro města tvoří zbytek zámeckého komplexu, původně jednoposchoďového, ve kterém byla také kaple, vězení a temnice.

Ve starém zámku byly poté zřízeny císařské úřady a správa velkostatku. V letech 1850 - 1948, když byla Napajedla soudním okresem, zde sídlil okresní soud, berní a lesní úřad a další instituce.

Erby nad dveřmi dodnes připomínají dalšího majitele napajedelského velkostatku - olomoucké arcibiskupství. V dnešní době je budova v soukromém vlastnictví a šetrně rekonstruována.