Baroková budova bývalého jezuitského kolégia patrí medzi najstaršie stavby mesta. Jej najstaršia časť bola postavená ešte v roku 1654. V rokoch 1748 – 1757 budovu prestavali a značne rozšírili. Po rozpustení jezuitského rádu, prešla do vlastníctva rádu benediktínov, ktorí v nej obnovili gymnaziálne vyučovanie. Po II. svetovej vojne sa po znárodnení stala študentským internátom strednej odbornej školy lodeníc. Dnes je opäť majetkom Benediktínskeho opátstva v Pannonhalme a slúži ako kláštor slovenských benediktínov. Plaketa na priečelí budovy, zdobená reliéfom hlása pamiatku tu pôsobiacich významných benediktínskych učiteľov. Budova je národná kultúrna pamiatka. V roku 2013 prebehla rozsiahla rekonštrukcia budovy.