Gimimo data nustatyta pagal krikšto metrikų įrašą. Kituose šaltiniuose klaidingai minimas kaip gimęs 1893 m. Debeikių parapijoje ir miręs 1981 m., palaidotas Debeikių kapinėse.

Tėvai: Justinas Baranauskas ir Ieva Vaičiūnaitė-Baranauskienė – žemdirbiai valstiečiai. Broliai: Kazimieras Baranauskas (1893–?), Jonas Baranauskas (1896–?).

1899 m. kovo 29 d. Kurklių bažnyčioje jį pakrikštijo vikaras Kajetonas Babrauskas, krikštatėviais buvo Vaclovas Ptaškauskas ir Kotryna Vaičiūnaitė.

Iki Pirmojo pasaulinio karo pabaigos gyveno tėviškėje, dirbo tėvų ūkyje.

1919 m. birželio 5 d. J. Baranauskas įstojo savanoriu į Lietuvos kariuomenę, buvo paskirtas eiliniu į 8-ojo pėstininkų Vaidoto pulko pirmąją kuopą. Tą pačią vasarą susirgo, gydėsi, o pasveikęs į tarnybą nebegrįžo, buvo laikomas pabėgusiu iš kariuomenės.

1920 m. vasario 12 d. jis pats vėl grįžo į kariuomenę ir iškart pasižymėjo Kauno įvykiuose – dalyvavo malšinant 1920 m. vasario mėnesį kairuolių sukeltas riaušes Aukštosios Panemunės kareivinėse, vasario 23 d. surengė itin rizikingą, bet sėkmingą žvalgybos operaciją. Už tai J. Baranauskas 1920 m. gegužės mėnesį buvo apdovanotas 1-ojo laipsnio Vyties Kryžiumi.

1920 m. pavasarį jis vėl gydėsi, paskui dalyvavo ir pasižymėjo mūšiuose su bolševikais prie Salako (Zarasų r.) ir su lenkais Augustavo miškuose. Jis buvo dingęs be žinios, paskui vėl atsirado.

1922 m. balandžio 3 d. J. Baranauskas baigė karinę tarnybą ir išėjo į atsargą, būdamas vyresnysis puskarininkis. Kaip savanoris jis gavo 9 hektarus žemės tėviškėje Staškūniškio kaime (Anykščių r.) ir ten su šeima ūkininkavo, buvo Lietuvos šaulių sąjungos narys.

1924–1940 m. J. Baranauskas dirbo eiliniu policininku – iš pradžių pasienio policijoje, paskui policijos nuovadoje. 1941 m. jis vėl įstojo savanoriu į policijos dalinį, saugojo Kurklių kalėjimą ir suimtus žydus.

Nepriklausomoje Lietuvoje jis buvo apdovanotas Savanorio medaliu (1928 m.) ir Nepriklausomybės medaliu (1928 m.).

Baigiantis Antrajam pasauliniam karui, tuo metu Antanavos kaime gyvenęs J. Baranauskas 1944 m. rugsėjo 1 d. sovietinės valdžios buvo suimtas ir kelis mėnesius kalintas Ukmergėje ir Vilniuje, apkaltintas pagalba vokiečių okupacinei valdžiai ir sovietinių darbuotojų persekiojimu. 1945 m. sausio 18 d. Karo tribunolas jį nuteisė 10 metų katorgos darbų ir 5 metams tremties. 1945 m. sausio 30 d. J. Baranauskas buvo išvežtas į Sevželdorlagą Komijoje (Rusija), paskui kalintas Oziorlage Irkutsko srityje (Rusija).

1954 m. rugsėjo 19 d. J. Baranauskas buvo išleistas į laisvę ir grįžo į Lietuvą, gyveno Anykščių rajone.

Vedė 1927 m. vasario 27 d. Kurklių bažnyčioje, žmona Apolonija Tidikytė-Baranauskienė – žemdirbė.

Mirė (?).

1990 m. liepos 6 d. Lietuvos Respublikos Aukščiausiasis Teismas reabilitavo Juozą Baranauską kaip neteisėtai represuotą.

Vyties Kryžiaus kavalieriaus Juozo Baranausko gyvenimas (su asmens identifikavimo klaidomis) ir nuopelnai įamžinti Viliaus Kavaliausko enciklopediniame žinyne "Lietuvos karžygiai : Vyties Kryžiaus kavalieriai (1918–1940)" 1-ajame tome (2008 m.).