Gimimo data pagal sovietmečiu suklastotus ir naudotus dokumentus – 1908 m. vasario 1 d., kaip gimimo vieta buvo nurodytas Vabalninkas (Biržų r.).

Tėvai: Juozapas Pavilonis (1875–1961) – verslininkas, visuomenininkas, ir Konstancija Žukauskaitė-Pavilonienė (1885–1970) – namų šeimininkė. Sesuo Bronislava Pavilonytė-Kazokaitienė (1915–2012) – pedagogė piešimo ir darbų mokytoja, muziejininkė. Dar vienas brolis Antanas Pavilonis (1914–1914) mirė kūdikystėje.

Dėdė (motinos brolis) Antanas Žukauskas-Vienuolis (1882–1957) – vaistininkas ir rašytojas, pusbroliai: (motinos sesers Emilijos sūnūs) Rapolas Šaltenis (1908–2007) – pedagogas ir rašytojas, Pranas Šaltenis (1904–1935) – jūrininkas, (motinos brolio Antano sūnus) Stasys Žukauskas (1914–1992) – vaistininkas, pusseserė (motino brolio Antano duktė) Laima Žukauskaitė-Ruigienė (1925–2012) – vaistininkė, švietėja.

1911 m. vasario 8 d. Anykščių bažnyčioje jį pakrikštijo klebonas Juozapas Vembrė.

Mokėsi Anykščių pradžios mokykloje ir progimnazijoje, iš progimnazijos buvo pašalintas, bet kitais metais į ją grąžintas ir mokslą baigė. Mokykliniais metais buvo skautas. Baigė Panevėžio berniukų gimnaziją. Studijavo Kaune, kur 1934 m. įgijo matininko žemėtvarkininko išsilavinimą.

Po studijų J. Pavilonis liko gyventi Kaune ir 1934–1941 m. dirbo Lietuvos Žemės tvarkymo departamente, buvo matininkas, parceliavęs dvarus įvairiose Lietuvos vietovėse. Jis kiek laiko gyveno dėdės A. Vienuolio name kartu su jo sūnumi Stasiu.

Rašytojo Antano Venclovos ir žurnalisto Justo Paleckio paprašytas, 1939 m. rugpjūčio 10 d. jis be atlygio išmatavo aštuonkampį 1,89 hektaro ploto Liudiškių kalvos žemės sklypą ir padarė planą būsimai rašytojo Jono Biliūno kapavietei. Jis suderino individualias kapines su Žemės tvarkymo departamentu ir Panevėžio vyskupijos kurija, įkalbėjęs ūkininkus Julių Gražį ir Balį Nemeikį perleisti tokiam kapui skirtą nuosavą žemę Lietuvos rašytojų draugijai.

Iki 1940 m. jis buvo Lietuvos tautininkų sąjungos narys, kol šios politinės organizacijos veikla pirmosios sovietinės okupacijos buvo nutraukta.

1941–1944 m. J. Pavilonis gyveno Anykščiuose, nuo 1944 m. pasitraukė į pogrindį ir kiek laiko slapstėsi, vengdamas suėmimo ir tarnybos sovietinėje kariuomenėje.

Gavęs naujus dokumentus ir išvengęs represijų, J. Pavilonis su šeima apie 1947 m. apsigyveno Kaune, dirbo žemėtvarkininku, paskui ėjo kitokias pareigas.

Senatvėje jis parašė atsiminimus apie senuosius Anykščius, apie rašytoją A. Vienuolį ir jo giminę, rankraščiai saugomi A. Baranausko ir A. Vienuolio-Žukausko memorialiniame muziejuje.

Vedė 1941 m., žmona Jadvyga Markevičiūtė-Pavilonienė – mokytoja. Duktė Dalia Irena Pavilonytė-Adomaitienė (g. 1942 m.) – mokslininkė gydytoja.

Mirė 1999 m. vasario 25 d. Kaune. Palaidotas Kauno Karmėlavos kapinėse.