Tėvas Stanislovas Kelpšas – dvarininkas bajoras.

Baigė Telšių apskrities bajorų mokyklą. 1854–1858 m. studijavo Žemaičių vyskupijos kunigų seminarijoje Varniuose (Telšių r.).

Apie 1857–1858 m. buvo įšventintas kunigu.

1858–1863 m. J. Kelpšas tarnavo vikaru Onuškyje (Rokiškio r.), buvo Vabalninko (Biržų r.) vikaras. 

Atvykęs 1863 m. liepą, 1863–1864 m. J. Kelpšas tarnavo Anykščių Šv. Mato parapijoje vikaru, buvo ir šios parapijos administratorius, pakeisdamas suimtą ir ištremtą kleboną Ferdinandą Stulginskį.

Dėl palankumo 1863-ųjų sukilėliams, už valstiečių būrimą susitikti su sukilėliais ir asmeninį dalyvavimą, skelbiant sukilimo manifestą, 1864 m. birželį J. Kelpšas buvo nušalintas nuo kunigo pareigų, suimtas ir tardytas. Jis neteko visų pilietinių teisių ir privilegijų ir buvo ištremtas į Tomsko guberniją (Rusija), o visas jo turtas buvo sekvestruotas.

Žinoma, kad 1866–1867 m. J. Kelpšas gyveno Marijinske (dabar – Kemerovo sr., Rusija) ir vertėsi duonos kepimu.

Amnestuotas 1871 m. jis grįžo iš tremties į Kuršo guberniją ir gyveno Liepojoje (Latvija).

Mirė (?)