Kapli Panny Marie na Hradbách dal zbudovat v roce 1748 vyšehradský ka­novník a záhy děkan Jan Tomáš Berghauer. Na místě děkana působil v letech 1749-1760. Kaple byla původně myšlena jako poutní,  byla v ní umístěna pověstná socha P. Marie Šancovské a byla spojena chodbič­kou s kostelem svatého Jana Křtitele Stětí.

Záro­veň při ní byla zřízena poustka pro poustevníka, který současně sloužil jako kostelník a zvoník. Kaple neměla dlouhý život, již v roce 1784 byla zrušena Josefem II. a zabrána vo­jenským erárem.

Socha P. Marie Šancovské byla přemístěna do chrámu sv. Petra a Pavla. Císařská armáda tu nějaký čas skladovala nejrůznější harampádí a potom kapli, spolu s vedlejším bývalým kostelem sv. Jana Stětí, pronajímala chudině k bydlení.  

V malé hloubce pod podlahou bylo objeveno několik koster. Kdo, kdy a proč tam byl pohřben, zůstává tajemstvím. Kaple chátrala, nakonec v ní byly ně­jaký čas i stáje. Teprve v roce 1882, při postupném zvelebování Vyšehradu za probošta Václava Štulce a teh­dy ještě kanovníka Karlacha, došlo i na zpustlou mariánskou kapli. Vyšehradská kapitula ji po ne­zbytném dohadování vykoupila od armády a kanovník Mikuláš Karlach z vlastních prostředků zaplatil obno­vu.