Areál koleje se přimykal k jedné z fází městského opevnění, postavené v letech 1360 – 1380. Součástí opevnění byla i hranolová věžice. V její horní části byl v roce 1705 zřízen vyhlídkový pavilon – „Lusthaus“. Někdy je též nazýván „Jezuitskou hvězdárnou“. Řada zdrojů odvozuje, že zde opravdu byla hvězdárna zdejších jezuitů. Zda objekt opravdu sloužil k astronomickému pozorování, není ve skutečnosti jisté. Možné to však je, příkladem nám může být známé jezuitské Klementinum v Praze s astronomickou věží, sloužící astronomickým měřením od poloviny 18. století. Dnes se v litoměřickém objektu nachází muzeum marionet.
