Klášterní zahrady leží hned za městským opevněním nad řekou Chrudimkou. V projektu architekti navázali na historické členění kapucínských zahrad. Klášterní zahrady se skládaly ze čtyř částí: užitkové zahrady, ovocného sadu, rajského dvora a hřbitova řeholníků. V zahradách se konají kulturní akce včetně zahajovacího koncertu Hudebního festivalu Zlatá Pecka.