Arkikatedra
Bažnyčia statyta keliais etapais, nuo XV amžiaus iki XX a. pr. Jos architektūrai būdingi gotikos bei renesanso bruožai. Iš išorės stačiakampė trinavė bazilikinė Arkikatedra – didingas netinkuotų raudonų plytų pastatas, turintis 41,9 m aukščio masyvų bokštą. Architektūriniai išrorės elementai – lakoniškų formų, stambūs, jų kompozicija asimetriška, išorės dekore išsiskiria baltu tinku padengti angokraščiai, karnizai ir kitos puošybos detalės. Fasade išryškėja kontraforsai, arkiniai langai. XIX a. pabaigos naujadaras – Švč. Sakramento koplyčia, pastatyta pietinės navos tąsoje, – tarsi mažutė vientisos erdvės bažnytėlė, prisiglaudusi prie didingos Arkikatedros.
Dabartinis interjeras yra daugiasluoksnis, nes formuotas apie 350 metų. Interjero stilistikoje ryškiai atsiskiria gotikos ir baroko sluoksniai, tačiau yra ir vėlesnių. Autentišką gotikos erdvę ir formas išsaugojo tik presbiterija ir zakristija. Ypač vertinga presbiterijos tinklinio skliauto dalis.
Visa šventovės skliautų ir sienų puošyba – siužetiniai paveikslai ir ornamentinė polichromija – atlikta XIX a. pabaigoje. Siužetinių paveikslų temos siejasi su didžiojo altoriaus pagrindine tema – Nukryžiavimu ir pasakojimais apie šv. apaštalų Petro ir Pauliaus gyvenimo įvykius. Arkikatedroje – devyni altoriai.
Dabartinis Nukryžiuotojo Jėzaus didysis altorius pašventintas 1775 m. Prasminis ir kompozicinis šio altoriaus akcentas – nišos viduryje iškeltas kryžius su Nukryžiuotoju. Kryžiaus papėdėje suklupusi šv. Marija Magdalietė, o nišos sienoje nutapyta nusidriekianti Jeruzalės panorama. Nišą, kurioje yra kryžius, iš abiejų pusių įrėmina kolonos, tarp jų stovi Marijos ir apaštalų statulos. Antrajame tarpsnyje stovi prisikėlusio Kristaus statula. Abipus jo klūpo šv. Petras su raktais (kairėje) ir šv. Paulius su kalaviju (dešinėje). Ant atsikišusių į priekį kolonų karnizų susodintos knygas laikančių evangelistų skulptūros. Ant šoninių kolonų karnizų atbrailų frontaliai pasodintos dvi skulptūros, vaizduojančios šv. Grigalių Didįjį (540–604) kairėje pusėje ir šv. Augustiną (354–430) dešinėje pusėje. Altorių vainikuoja didžiulė, dalį tinklinių skliautų uždengianti glorija, kurioje matome Dievą Tėvą plačiai išskėstomis, pasitinkančiomis rankomis. Kiek žemiau, toje pačioje vertikalioje simetrijos ašyje, įkomponuotas balandis, simbolizuojatis Šventąją Dvasią. Kylančia vertikale išdėstytos figūros sujungtos į vientisą Švč. Trejybės kompoziciją.
Vienintelis Arkikatedroje išsaugojęs autentišką pavidalą – XVII a. pabaigos Švč. Mergelės Marijos Ėmimo į dangų altorius, įrengtas kairiosios navos gale. Jo architektūra, tapyba, skulptūra ir drožyba sujungtos į darnią vienovę, besiremiančią sudėtinga ikonografine programa. Pirmajame altoriaus tarpsnyje – Švč. Mergelės Marijos Ėmimas į dangų, antrajame – Švč. Mergelės Marijos vainikavimas. Abu paveikslai 1686 m. nutapyti Johano Gotardo Berghoffo. Pagrindinis altoriaus paveikslas įrėmintas dvigubais iš medžio drožtais ažūriniais rėmais. Platesniojoje rėmų juostoje matyti stilizuotų žiedų taurelėse įkomponuoti skeptrus laikančių barzdotų karalių reljefai. Jie vaizduoja iš Dovydo giminės kilusios Marijos ir Jėzaus protėvius, vadinamąjį Jesės medį. Visumą tarsi medžio viršūnę vainikuoja nedidukas Dievo Motinos su Kūdikiu atvaizdas.
1895 m. prie pietinės presbiterijos sienos pristatyta Švč. Sakramento koplyčia. Ji yra visai savarankiška: turi altorių, vargonų tribūną, klausyklą, stales ir suolus. Visa ši įranga drožta iš medžio ir yra neogotikinių formų, priderintų prie koplyčios architektūros. Altorius su paveikslais ir skulptūromis dedikuotas vyskupijos globėjui šv. Jonui Krikštytojui. Retabulo centre nutapytas paveikslas Jėzaus Krikštas, abipus jo – šv. Kazimiero ir šv. Stanislovo atvaizdai. Koplyčioje palaidoto kardinolo Vincento Sladkevičiaus kapo vietą žymi balto marmuro plokštė.
