Tėvai: Feliksas Jankauskas ir ? Jankauskienė.

Baigė mokytojų seminariją, apie 1925–1928 m. dirbo pradinių klasių mokytoju Žiežmariuose (Kaišiadorių r.), vėliau Užpaliuose (Utenos r.), apie 1937–1939 m. buvo Kurmių (Šilutės r.) pradžios mokyklos mokytojas.

Nuo 1939 m. jis gyveno ir dirbo Vilniuje. Paskirtas 1939 m. gruodžio 1 d., 1939–1940 m. jis dirbo Vilniaus lietuviškos pradinės mokyklos Nr. 4 vedėju.

Nuo 1945 m. iki gyvenimo pabaigos J. Jankauskas gyveno ir iki pensijos dirbo Anykščiuose.

1945–1949 m. jis buvo Anykščių gimnazijos fizikos ir matematikos mokytojas. Pertvarkius šią mokyklą, 1949–1953 m. jis dirbo Anykščių vidurinėje mokykloje, 1953–1967 m. – Anykščių Jono Biliūno vidurinėje mokykloje fizikos ir matematikos mokytoju, kol išėjo į pensiją.

1970 m. pavasarį jis dar dirbo Anykščių vakarinėje (pamaininėje) neakivaizdinėje vidurinėje mokykloje pavaduojančiuoju fizikos ir matematikos mokytoju.

Vedė 1925 m. gegužės 2 d. Žiežmarių bažnyčioje, žmona Monika Kairytė-Jankauskienė (1904–1976) – pedagogė pradinių klasių mokytoja, liaudies dainininkė. Dukterys: Danutė Jankauskaitė-Sprindžiukienė (1927–2010) – gydytoja, Vida Marija Jankauskaitė-Juodelienė (1933–2017) – medicinos laborantė.

Mirė 1977 m. rugsėjo mėn. Anykščiuose. Palaidotas Anykščių senosiose kapinėse. Kapą ženklina tamsaus šlifuoto akmens paminklas-stela su iškaltu įrašu: "Monika Jankauskienė / 1904–1976 / Juozas Jankauskas / 1901–1977 / Danutė Sprindžiukienė / 1927–2010 / Vida Juodelienė / 1933–2017".