Tėvas Mikalojus Kiška – dvarininkas bajoras.

1863–1867 m. studijavo Žemaičių kunigų seminarijoje Kaune.

1868 m. J. Kiška buvo įšventintas kunigu.

1868–1881 m. jis tarnavo Kauno arkikatedroje altarista-vikaru.

1881 m. rugsėjį J. Kiška atvyko į Traupį (Anykščių r.) ir 1881–1887 m. buvo Traupio Šv. Onos parapijos klebonas.

Perkeltas 1887 m. pavasarį, 1887–1904 m. J. Kiška tarnavo Sudeikių (Utenos r.) Švč. Mergelės Marijos parapijos klebonu.

Nuo 1904 m. Žemaičių vyskupijos kunigų sąrašuose J. Kiškos nebėra.

Mirė apie 1904 m.