Gimimo data kitų šaltinių duomenimis – 1899 m. Debeikių parapijoje žinių apie kilmę nėra.

Tėvai: Justinas Baranauskas ir ? Baranauskienė – žemdirbiai valstiečiai. Užaugo su dviem seserimis Valerija ir Genovaite, dar trys vaikai šeimoje mirė maži.

Iki Pirmojo pasaulinio karo pabaigos gyveno tėviškėje, dirbo tėvų ūkyje.

1919 m. birželio 5 d. J. Baranauskas įstojo savanoriu į Lietuvos kariuomenę, buvo paskirtas eiliniu į 8-ojo pėstininkų Vaidoto pulko pirmąją kuopą. Tą pačią vasarą susirgo, gydėsi, o pasveikęs į tarnybą nebegrįžo, buvo laikomas pabėgusiu iš kariuomenės.

1920 m. vasario 12 d. jis pats vėl grįžo į kariuomenę ir iškart pasižymėjo Kauno įvykiuose – dalyvavo malšinant 1920 m. vasario mėnesį kairuolių sukeltas riaušes Aukštosios Panemunės kareivinėse, vasario 23 d. surengė itin rizikingą, bet sėkmingą žvalgybos operaciją. Už tai J. Baranauskas 1920 m. gegužės mėnesį buvo apdovanotas 1-ojo laipsnio Vyties Kryžiumi.

1920 m. pavasarį jis vėl gydėsi, paskui dalyvavo ir pasižymėjo mūšiuose su bolševikais prie Salako (Zarasų r.) ir su lenkais Augustavo miškuose. Jis buvo dingęs be žinios, paskui vėl atsirado.

1922 m. balandžio 3 d. J. Baranauskas baigė karinę tarnybą ir išėjo į atsargą, būdamas vyresnysis puskarininkis. Kaip savanoris jis gavo 9 hektarus žemės Staškūniškio kaime (Anykščių r.) ir ten su šeima ūkininkavo, buvo Lietuvos šaulių sąjungos narys.

1924–1940 m. J. Baranauskas dirbo eiliniu policininku – iš pradžių pasienio policijoje, paskui policijos nuovadoje. 1941 m. jis vėl įstojo savanoriu į policijos dalinį, saugojo Kurklių kalėjimą ir suimtus žydus.

Nepriklausomoje Lietuvoje jis buvo apdovanotas Savanorio medaliu (1928 m.) ir Nepriklausomybės medaliu (1928 m.).

Baigiantis Antrajam pasauliniam karui, tuo metu Antanavos kaime gyvenęs J. Baranauskas 1944 m. rugsėjo 1 d. sovietinės valdžios buvo suimtas ir kelis mėnesius kalintas Ukmergėje ir Vilniuje, apkaltintas pagalba vokiečių okupacinei valdžiai ir sovietinių darbuotojų persekiojimu. 1945 m. sausio 18 d. Karo tribunolas jį nuteisė 10 metų katorgos darbų ir 5 metams tremties. 1945 m. sausio 30 d. J. Baranauskas buvo išvežtas į Sevželdorlagą Komijoje (Rusija), paskui kalintas Oziorlage Irkutsko srityje (Rusija).

1954 m. rugsėjo 19 d. J. Baranauskas buvo išleistas į laisvę ir grįžo į Lietuvą, gyveno Anykščių rajone.

Buvo vedęs, žmona Ona Baranauskienė (?–1960) – žemdirbė. Vaikai: Napalys Baranauskas (1913–1984) ir Emilija Baranauskaitė-Girniuvienė (1916–2004).

Mirė 1981 m. spalio 10 d. Palaidotas Debeikių (Anykščių r.) kapinėse.

1990 m. liepos 6 d. Lietuvos Respublikos Aukščiausiasis Teismas reabilitavo Juozą Baranauską kaip neteisėtai represuotą.

Vyties Kryžiaus kavalieriaus Juozo Baranausko gyvenimas ir nuopelnai įamžinti Viliaus Kavaliausko enciklopediniame žinyne "Lietuvos karžygiai : Vyties Kryžiaus kavalieriai (1918–1940)" 1-ajame tome (2008 m.).