Účel této stavby v minulosti nebyl tak jednoznačný. Původně byla budova určena k plnění funkce kostela, konkrétně s názvem kostel sv. Anny.

Z architektonického pohledu je součástí stavby i replika Svaté chýše z italského Loreta, jenž věrně doplňuje tuto jedinečnou kulturní památku. 

Až v polovině 19. století byl kostel přestavěn a dodnes je památka účelově známa především jako Dietrichsteinská hrobka. Stalo se tomu především proto, že v jižní části budovy je vystavěna pohřební kaple Dietrichsteinů a bylo zde pohřbeno všech 45 členů tohoto rodu (z období 1617 až 1852). Stavba je dále unikátní svým dvouvěžovým průčelím, jenž bylo navrženo významným architektem té doby a v roce 1784 byla stavba zásadně poškozena požárem města.