Bazylika
Bazylika znajduje się między centrum miasta a rzeką Szeszupą, na płaskim miejscu przy skrzyżowaniu ulic, w stronę którego zwrócona jest jej główna fasada. Na północ od świątyni wznosi się klasztor. W swej stylistyce architektonicznej bazylika zawiera formy barokowe i neoklasycystyczne, ma dwie wieże i trzy nawy. Zbudowana jest na planie krzyża, z prostą absydą i wieżami, które nieco odstają od ogólnego zarysu kościoła. Wieże łączy otwarty przedsionek. Symetrię planu zaburza przybudówka północnej zakrystii.
W dość surowym i naznaczonym wzniosłością wnętrzu kościoła dominuje przestrzeń nawy środkowej zamknięta jest cylindrycznym sklepieniem. Zdobi je szeroki fryz ozdobiony rzeźbami i wystający gzyms. W świątyni znajduje się sześć ołtarzy w stylu neobarokowym.
Bł. Jerzy Matulewicz pochowany jest w zbudowanej w 1902 r. kaplicy pod jego wezwaniem (wcześniej nazywanej kaplicą Najświętszego Serca Jezusowego), stąd pierwszą część retabułu ołtarza kaplicy zdobi obraz zatytułowany „Błogosławiony arcybiskup Jerzy Matulewicz”. Jego autorem jest Vytautas Ciplijauskas. Postać błogosławionego przedstawiona jest w pozycji stojącej, z atrybutami władzy biskupiej. Powyżej mensy ołtarzowej znajduje się retabuł-sarkofag: niski, o abstrakcyjnym kształcie, wykonany z kamienia i patynowanej miedzi. Jego sylweta przypomina masywny, monumentalny baldachim. W jego centrum znajduje się płaskorzeźbiony herb z monogramem, regaliami i napisem Vince malum in bono. Przy sarkofagu z relikwiami błogosławionego można teraz zobaczyć kilkanaście różnokształtnych wotów. W drugiej części retabułu wisi obraz przedstawiający św. Jerzego, a namalowany w 1926 r. przez Telesfora Kulakauskasa.
W ołtarzu św. Antoniego Padewskiego, znajdującym się na końcu prawej nawy, wisi obraz Matki Boskiej z Dzieciątkiem. Do 1772 r. znajdował się on w ołtarzu głównym. Co najmniej do połowy XIX w. uchodził za cudowny. Ten wizerunek Maryi został tu przeniesiony przez hrabinę Butlerową z kaplicy należącego do niej dworu Vaizbūniškis. Suknia obrazu wykonana jest z żółtej blachy, na której przedstawiona jest odzież Maryi i Dzieciątka Jezus, korony, aureole i inne elementy dekoracyjne. Sukienka wykonana jest w trudnej, wymagającej mistrzostwa technice rytowania.
