Tėvas Mikalojus Kiška – dvarininkas bajoras.

1863–1867 m. studijavo Žemaičių kunigų seminarijoje Kaune.

1868 m. J. Kiška buvo įšventintas kunigu.

1868–1881 m. jis tarnavo Kauno arkikatedroje altarista-vikaru.

1881 m. rugsėjį J. Kiška atvyko į Traupį (Anykščių r.) ir 1881–1887 m. buvo Traupio Šv. Onos parapijos klebonas.

Perkeltas 1887 m. pavasarį, 1887–1904 m., iki gyvenimo pabaigos, J. Kiška tarnavo Sudeikių (Utenos r.) Švč. Mergelės Marijos parapijos klebonu.

Mirė 1904 m. spalio 22 d. Sudeikiuose (Utenos r.). Buvo palaidotas Sudeikių bažnyčios šventoriuje. Kapas sunykęs.