Pirmoji bažnyčia Karmėlavoje įkurta apie 1521 m. Tiesa, nuo tada šie maldos namai ne kartą deginti ir naikinti. Juos atstatyti teko bent keturis kartus.
Paskutinį kartą bažnyčia degė per Antrąjį pasaulinį karą, 1944 m. liepos 29 d. Po gaisro maldos namai perkelti į klebonijos ūkio pastatą ir čia veikia iki šių dienų. Bažnyčia, įsikūrusi šalia senojo buvusios bažnyčios šventoriaus, savo forma primena gyvenamąjį namą. Nuo jos atsiveria vaizdas į Neries upės slėnį.
Per minėtą gaisrą išliko XIX a. statyti senosios bažnyčios barokiniai šventoriaus vartai. Jie yra 3 m aukščio, ornamentuoti, ažūriniai, kalvių darbo. Juos laiko mūro kolonos, virš vartų – geležiniai ornamentuoti kryžiai. To paties stiliaus yra greta esantys apie 1,5 m aukščio varteliai. 1992 m. tvora ir vartai įrašyti į Lietuvos kultūros vertybių registrą.
