Visų Šventųjų bažnyčia stovi dabartinėje Rūdninkų gatvėje (ji buvo pastatyta šalia tuo metu buvusių Rūdninkų vartų).

Ji statyta 1620 – 1630 m. Bažnyčia yra ankstyvojo baroko stiliaus, trinavė, bazilikinė, su gilia presbiterija ir dvejomis kupolinėmis koplyčiomis iš šonų. Šalia bažnyčios 1743 m. buvo pastatyta stambi, penkių tarpsnių rokoko stiliaus varpinė bei dviaukštis priestatas, kurio pirmame aukšte buvo įrengta zakristija, o antrame – biblioteka. 1812 m. Napoleono kariuomenė nuniokojo bažnyčią, ji buvo atnaujinta 1823 m. Iki XX a. vidurio pamokslus buvo bandoma sakyti lietuviškai, tačiau lenkų bendruomenė tam itin priešinosi. 1948 m. bažnyčia buvo uždaryta ir paversta bakalėjinių prekių parduotuve.

1967 – 1975 m. bažnyčia ir varpinė buvo restauruotos ir 1991 m. ji galiausiai buvo grąžinta tikintiesiems.

Bažnyčios fasadas dvelkia ramybe bei harmonija, o varpinės bokštas atvirkščiai – aukštas, masyvus ir prašmatniai dekoruotas. Bažnyčioje yra aštuoniolika barokinio stiliaus altorių. Įspūdingas Didysis altorius pastatytas pagal architekto Martyno Knakfuso projektą apie 1787 m. Šoniniai altoriai ankstyvesni.

Šalia bažnyčios yra didelis karmelitų vienuolynas. Jis buvo pastatytas 1631 – 1632 m. XVII – XVIII a. karmelitai aktyviai dalyvavo viešėjame miesto gyvenime. 1819 m. vienuolyno patalpose karmelitai įsteigė parapinę mokyklą, joje mokė lenkų, lotynų, rusų, prancūzų bei vokiečių kalbų bei biblijos istorijos, krikščioniškojo mokslo, geografijos, aritmetikos.

Rytų pusėje yra aikštė, kurioje stovėjo basųjų karmelitų vienuolynas ir jam priklausiusi Šv. Juozapo Sužadėtinio bažnyčia, įkurta 1638 m. 1877 m. caro valdžios įsakymu bažnyčia buvo sulyginta su žeme. Dabar šioje vietoje yra skveras.