Tėvai: Feliksas Gabševičius (apie 1797 – 1869) ir Uršulė Javlauskaitė-Gabševičienė (? – iki 1869) – dvarininkai bajorai. Brolis Andrius Gabševičius, seserys Barbora, Liudvika, Aleksandra ir Antanina Gabševičiūtės.

1856–1858 m. studijavo Žemaičių vyskupijos kunigų seminarijoje Varniuose (Telšių r.), 1858–1862 m. tęsė studijas Sankt Peterburgo (Rusija) dvasinėje akademijoje ir baigė jas teologijos magistro laipsniu.

1862 m. J. Gabševičius buvo įšventintas kunigu.

1862 m. vasarą ir rudenį jis trumpai tarnavo Kauno gimnazijoje kapelionu ir tikybos mokytoju, kol buvo iš šių pareigų atleistas, į jas paskyrus Klemensą Kairį.

1862–1863 m. jis buvo Kamajų (Rokiškio r.) parapijos vikaras.

Paskirtas 1865 m. rugpjūčio 23 d., 1865–1890 m. J. Gabševičius buvo Troškūnų Švč. Trejybės parapijos klebonas, kol 1890 m. vasarį buvo iškeltas. XIX a. jis buvo ilgiausiai šioje parapijoje praleidęs dvasininkas.

Troškūnuose jis ugdė vikarus: 1865–1869 m. – Adomą Bersėną, 1869–1871 m. – Vincentą Žementauską, 1871–1876 m. – Aleksandrą Laurinavičių, 1888 m. – Joną Rusteiką.

1890–1901 m. jis tarnavo Pikelių (Mažeikių r.) Švč. Trejybės parapijos klebonu.

Nuo 1901 m. pavasario iki gyvenimo pabaigos J. Gabševičius buvo Kėdainių Šv. Jurgio parapijos rezidentas, kunigas altarista.

Mirė apie 1914 m. Kėdainiuose.