Gimimo data pagal naująjį kalendorių – 1821 m. kovo 29 d.

Tėvai: Vincentas Abelevičius ir Ona Rukšaitė-Abelevičienė (1791–?) iš Anykščių – dvarininkai bajorai. Broliai Florijonas Ignotas Abelevičius (1828–?), Konstantinas Juozapas Abelevičius (1834–?), seserys Karolina Uršulė Ona Abelevičiūtė-Šidlauskienė (1823–?), Angelė Ona Abelevičiūtė-Bražinskienė (1826–?).

1833–1838 m. mokėsi Troškūnų (Anykščių r.) pavieto mokykloje, kur baigė penkias klases, 1838–1842 m. – Vilniaus dvasinėje seminarijoje. Nuo 1842 m. tęsė studijas iš Vilniaus į Sankt Peterburgą (Rusija) perkeltoje dvasinėje akademijoje, 1846 m. baigė teologijos studijas teologijos magistro laipsniu.

1846 m. balandžio 6 d. J. Abelevičius buvo įšventintas kunigu.

1846–1847 m. J. Abelevičius dirbo Svisločiaus (dabar – Baltarusija) gimnazijos kapelionu.

1847–1853 m. jis buvo Vilniaus dvasinės seminarijos profesorius ir prokuratorius, čia jis dėstė dogmatinę teologiją. 1852 m. J. Abelevičius taip pat buvo paskirtas Vilniaus katedros kanauninku koadjutoriumi.

1850–1853 m., pirmaisiais Motiejaus Valančiaus vyskupavimo metais, J. Abelevičius prižiūrėjo Vilniuje leidžiamų lietuviškų raštų spausdinimą, buvo jų korektorius, prižiūrėjo spaudą ir taisė kalbą.

1853 m. jis buvo iškeltas į Volkoviską (Rusija) parapijos administratoriumi ir dekanu, paskui 1856–1870 m. buvo Volkovisko parapijos klebonas ir dekanas. 1867 m. už leidimą be valdžios žinios kitam kunigui aukoti Šv. Mišias Gardino gubernatoriaus jis buvo nubaustas 100 rublių bauda. 

1870 m. grįžęs į Vilnių, J. Abelevičius iki gyvenimo pabaigos dirbo Vilniaus vyskupijos kunigų seminarijoje. 1870–1878 m. jis buvo seminarijos inspektorius ir homiletikos profesorius, 1872–1878 m. dėstė Šv. Raštą.

Paskirtas 1878 m. liepos 30 d., 1878–1882 m., iki gyvenimo pabaigos, J. Abelevičius buvo Vilniaus kunigų seminarijos rektorius, kartu dėstė ir bažnytinę teisę.

J. Abelevičius buvo apdovanotas vardiniu kryžiumi ir medaliu 1853–1856 m. karui atminti.

Mirė 1882 m. liepos 3 d. (pagal naująjį kalendorių – liepos 15 d.) Vilniuje.