Uzavírá jižní konec Starého náměstí. Na výstavbě se podílel spolu s lineckými kapucíny i tehdejší majitel panství Jan Hartvík Nostic. Klášter byl slavnostně vysvěcen 20. října 1667 litoměřickým biskupem Maxmiliánem Rudolfem ze Šlejnic. Kolem čtvercového rajského dvora s kulatou studní stojí budovy konventu. Klášteru dominuje budova klášterního kostela sv. Antonína Paduánského.

Jedná se o jednolodní klenutou stavbu s postranními kaplemi. Půdorys kostela tvoří kříž. Kostel má mohutný trojúhelníkový barokní štít. Klášter přežil rušení klášterů za vlády Josefa II. a byl činný až do roku 1950, kdy byl 4. května StB zlikvidován, kapucíni internováni a klášter přidělen Ministerstvu obrany. Na další devastaci se podílela československá armáda, postupující těžba hnědého uhlí zdevastovala část původní klášterní zahrady i kapli sv. Anny z roku 1782. Do velmi neutěšeného stavu se dostala i krypta.

Rozsáhlá rekonstrukce kláštera i hrobky proběhla v 90. letech a od roku 2002 slouží klášter jako koncertní a výstavní síň.