Tėvai: Jonas Baronas-Baranauskas (1802–1868) – žemdirbys valstybinio dvaro valstietis, mokesčių rinkėjas, ir Teklė Pavilonytė-Baronienė-Baranauskienė (1803–1872) iš Elmininkų – žemdirbė, valstybinio dvaro valstietė. Užaugo penkių vaikų šeimoje, buvo vyriausias. Broliai: Antanas Baranauskas (1835–1902) – vyskupas ir poetas, Juozapas Baranauskas (1838–1916) – žemdirbys ir Anupras Baranauskas (1841–1928) – žemdirbys, 1863–1875 m. tremtinys, sesuo Rozalija Baranauskaitė-Zlatkuvienė (1832–1918) – žemdirbė.

1828 m. gruodžio 19 d. Anykščių bažnyčioje Jono Juozapo vardais jį pakrikštijo klebonas Kletas Venskavičius, krikštatėvai buvo valstiečiai Jokūbas Levandavičius ir Ieva Baranauskaitė-Miškeliūnienė, Petro Miškeliūno žmona.

1839 m. Baranauskų šeima nusipirko žemės ir persikėlė Anykščiuose gyventi iš kairiojo Šventosios upės kranto į dešinįjį – Ažupiečius.

Jaunystėje J. Baranauskas pramokė rašto savo jaunesnįjį brolį A. Baranauską. Vėliau visą gyvenimą jiedu artimai bendravo, nuolat susirašinėjo laiškais.

J. Baranauskas, kaip vyriausias sūnus šeimoje, šeimininkavo tėviškės sodyboje, vėliau ją paveldėjo ir ten ūkininkavo kartu su jaunesniuoju broliu šeimos nesukūrusiu Juozapu Baranausku.

XIX a. viduryje ir antrojoje pusėje, iki 1863 m., J. Baranauskas buvo Anykščių kaimo bendruomenės valdybos viršaitis.

J. Baranauskas dalyvavo 1863 m. sukilime kaip sukilėlių rėmėjas. Numalšinus sukilimą, carinės Rusijos valdžios jis buvo pripažintas politiškai nepatikimu ir apkaltintas tuo, kad kaip valsčiaus viršaitis nepranešė apie sugrįžusius iš sukilimo ir besislapstančius valstiečius.

Už tai kartu su broliu Anupru Baranausku jis buvo suimtas, kalintas Ukmergės kalėjime, 1864 m. balandžio 18 d. pervežtas į Vilnių, o iš ten ištremtas į Sibirą (Rusija) iki gyvos galvos. Tremtyje abu broliai praleido 12 metų ir buvo paleisti tik carui paskelbus manifestą. Jo žmonai ir keturioms dukterims tvarkytis ūkyje tuo metu padėjo brolis Juozapas.

1875 m. grįžęs iš tremties, jis įsikūrė tėviškės sodyboje ir liko joje iki gyvenimo pabaigos. Tremčiai atminti prie savo sodybos jis pasodino 12 beržų, trys iš jų išliko ir auga iki XXI a. pradžios.

1902 m. J. Baranauskas su dukra Rozalija vyko į Seinus, kur dalyvavo brolio A. Baranausko laidotuvėse. Iš šios kelionės jis į Anykščius pargabeno kelis asmeninius brolio daiktus, kurie paskui buvo išsaugoti muziejuje. Ji parvežė ir taip išsaugojo A. Baranausko jaunystės dienoraštį – tris sąsiuvinius, rašytus 1853–1856 m., kuriuos 1910 m. perėmė toliau saugoti Lietuvos mokslo draugijos atstovas dr. Jonas Basanavičius.

Susituokė 1850 m. spalio 22 d. Anykščių bažnyčioje, tuokė vikaras Julijonas Šimkavičius, žmona Juozapota Šumylaitė-Baranauskienė (1832–1907) iš Ažupiečių – žemdirbė. Vaikai: Rozalija Baranauskaitė-Žukauskienė (1853–1924) – žemdirbė, Vincentas Baranauskas (1856 – iki 1904), Ona Baranauskaitė (1857–1874), Liudvika Baranauskaitė-Bagdonienė (1860–1881) ir Julijona Baranauskaitė (1863–1889). Anūkas (dukters Rozalijos sūnus) Antanas Žukauskas-Vienuolis (1882–1957) – vaistininkas, rašytojas.

Mirė 1904 m. gegužės 19 d. Anykščiuose. Buvo palaidotas Anykščių kapinėse prie koplyčios šeimos kape. XX a. viduryje šias XIX a. kapines likviduojant, jo ir tėvų palaikai perkelti ir perlaidoti į Anykščių senąsias kapines.