Gimimo data pagal naująjį kalendorių – 1902 m. gruodžio 13 d.

Tėvai: Juozapas Klimavičius ir Marijona Gilytė-Klimavičienė – valstiečiai žemdirbiai. Brolis dvynys Kazimieras Klimavičius (1902–?).

1902 m. lapkričio 30 d. Garliavos bažnyčioje jį pakrikštijo kunigas Jonas Baltrušaitis, krikštatėviai buvo Jonas Mašanauskas ir Ona Bružikaitė.

Mokėsi Pažėrų (Kauno r.) pradžios mokykloje, 1920–1926 m. baigė šešias klases Kauno "Aušros" gimnazijoje. 1933 m. baigė Kauno kunigų seminariją ir Vytauto Didžiojo universiteto Teologijos-filosofijos fakulteto Teologijos skyrių 7-ojoje jo laidoje, įgijo teologinį išsilavinimą. 1932 m. kovo 12 d. Kaune jis buvo įšventintas subdiakonu.

1933 m. balandžio 1 d. J. Klimavičius buvo įšventintas kunigu. Kartu buvo įšventinti Kazimieras Šablevičius, Steponas Pelešynas, Juozas Stankūnas, Jonas Morkvėnas, Ignas Šaučiūnas ir kiti kunigai.

1933–1941 m. J. Klimavičius buvo Kurklių (Anykščių r.) Šv. Jurgio parapijos vikaras, talkino klebonams Steponui Telksniui ir Juozui Katinui.

1938–1940 m., kai buvo statoma Užunvėžių (Anykščių r.) bažnyčia, jis organizavo šios naujos bažnyčios statybą, iki 1940 m. buvo Užunvėžių pradžios mokyklos tikybos mokytojas.

1940–1944 m. J. Klimavičius buvo naujos Užunvėžių Švč. Mergelės Marijos bažnyčios rektorius, 1944–1949 m. – pirmasis šios naujos parapijos klebonas. Antrojo pasaulinio karo metais jis baigė įrengti naująją bažnyčią.

Perkeltas 1949 m. birželį, 1949–1961 m. jis tarnavo Girkalnio (Raseinių r.) Šv. Jurgio parapijos klebonu. Paskirtas 1961 m. vasarį, senatvėje 1961–1977 m., iki gyvenimo pabaigos, J. Klimavičius buvo Bukonių (Jonavos r.) Šv. arkangelo Mykolo parapijos klebonas.

Amžininkų atmintyje J. Klimavičius išliko kaip energingas, komunikabilus, iškalbingas ir organizuotas dvasininkas.

Mirė 1977 m. liepos 20 d. Bukonyse (Jonavos r.). Palaidotas Bukonių bažnyčios šventoriuje šalia kitų kunigų. Kapą ženklina akmeninis paminklas su kryžiumi, yra įrašas: "Kun. Jonas Klimavičius / 1902.XII.13-1933-1977.VII.20 / Bukonių klebonas / Mano siela garbina Viešpatį. / (Lk 1, 46)".