Archikatedra
Świątynia powstawała w kilku etapach, od wieku XV do początku XX. Jej architektura ma wyraźne cechy gotyckie i renesansowe. Z zewnątrz archikatedra wygląda na bazylikalną, prostokątną, trójnawową budowlę z nietynkowanej czerwonej cegły i z masywną, wysoką na prawie 42 m. wieżą. Zewnętrzne elementy architektoniczne są raczej skromne, wydatne, o kompozycji asymetrycznej. Wyraźnie odcinają się obrysy otworów, pokryte białym tynkiem, widoczne są gzymsy i inne szczegóły dekoracji zewnętrznej. Fasadę zdobią skarpy i łukowate okna. W końcu XIX w. pojawił się nowo dobudowany na przedłużeniu południowej nawy twór – kaplica Najświętszego Sakramentu. Wygląda jak malutki kościółek o jednolite przestrzeni, jakby przyklejony do ogromnej katedry.
Obecny wystrój wnętrza charakteryzuje się wielowarstwowością, gdyż powstawał w ciągu 350 lat. Najwyraźniejsza jest jego warstwa gotycka i barokowa, można wskazać także nowsze. Autentyczne gotyckie rozwiązania przestrzenne i formalne zachowały się tylko w prezbiterium i zakrystii. Za szczególnie cenną uchodzi sklepienie sieciowe w części nad prezbiterium.
Na całość dekoracji sklepień i ścian świątyni składają się obrazy tematyczne i polichromie ornamentalne wykonane w końcu XIX w. Wątki przedstawione na obrazach związane są z tematem ołtarza głównego: Ukrzyżowaniem i wydarzeniami z życia apostołów Piotra i Pawła. W kościele jest jeszcze osiem innych ołtarzy.
Ołtarz główny – obecnie ołtarz Jezusa Ukrzyżowanego, został poświęcony w 1775 r. Osią kompozycyjna i teologiczną tego ołtarza jest wznoszący się w środku niszy krzyż z przedstawieniem Ukrzyżowanego. U stóp krzyża klęczy Maria Magdalena, zaś w ścianie niszy rozciąga się malowana panorama Jerozolimy. Niszę z obu stron ograniczają kolumny, dodatkowo jeszcze zagęszczone umieszczonymi między nimi postaciami Maryi i apostołów. W drugiej kondygnacji ołtarza znajduje się figura Chrystusa Zmartwychwstałego. Po jego bokach klęczą św. Piotr z kluczami (po lewej) i św. Paweł z mieczem (po prawej). Na zwieńczeniach wysuniętych do przodu kolumn umieszczono siedzące postacie ewangelistów trzymających księgi. Na gzymsach głowic kolumn bocznych frontalnie przedstawiono w pozycji siedzącej św. Grzegorza Wielkiego (540-604) po lewej stronie i św. Augustyna (354-430) po prawej. Ołtarz wieńczy ogromna kompozycja przedstawiająca witającą postać z rozpostartymi ramionami – Boga Ojca w chwale. Nieco niżej, w tej samej pionowej osi symetrii wkomponowane jest przedstawienie Ducha Św. w postaci gołębicy. Rozmieszczone pionowo postacie łączą się w jednolitą kompozycję obrazującą Trójcę Świętą.
Jedynym elementem katedry, który zachował się w autentycznej, pierwotnej postaci, jest ołtarz Wniebowzięcia Najświętszej Maryi Panny z końca XVII w. Stoi w końcu lewej nawy. Jego architektura, dekoracje malarskie oraz rzeźby i ozdoby w drewnie w oparciu o złożony program ikonograficzny łącza się w harmonijną całość. W pierwszej kondygnacji ołtarza zobrazowano Wniebowzięcie, a w drugiej – Ukoronowanie Najświętszej Maryi Panny. Oba obrazy namalował w 1686 r. Johan Gotard Berghoff. Obraz tytułowy ołtarza umieszczony jest w podwójnej, ażurowej, rzeźbionej w drewnie ramie. Szerszą linię ramy zdobi relief ze stylizowanych kielichów kwiatów, których brodate postacie królów trzymają berła. Przedstawia on przodków Jezusa i Maryi, pochodzących z rodu Dawida, tzw. drzewo Jessego. Tę całość wieńczy, niczym korona drzewo, niewielki wizerunek Matki Boskiej z Dzieciątkiem.
W 1895 r. do południowej ściany prezbiterium dobudowano Kaplicę Najświętszego Sakramentu Jest to zupełnie samodzielne pomieszczenie: ma ołtarz, chór z organami, konfesjonał, stalle i ławki. Całe to wyposażenie jest wykonane w drewnie, w stylu neogotyckim i dobrze się komponuje z architekturą kaplicy. Ołtarz, ozdobiony obrazami i rzeźbami, dedykowany jest św. Janowi Chrzcicielowi – patronowi diecezji. W centrum retabułu znajduje się obraz pt. „Chrzest Jezusa”, zaś po obu stronach zdobią go wizerunki św. Kazimierza i św. Stanisława. W roku 2000 w tej kaplicy pochowano kardynała Vincentasa Sladkevičiusa a miejsce jego spoczynku znaczy biała marmurowa płyta.
