Seneliai: Juozas Rimša (1860–1951) ir Kamilė Laurelytė-Rimšienė (1860–1936) – žemdirbiai, turėjo 18 hektarų žemės Svėdasuose. Tėvai: Antanas Rimša (1892–1965) ir Vincenta Šinkūnaitė-Rimšienė (1907–1994) – žemdirbiai. Augo šešių vaikų šeimoje. Broliai ir seserys: Jonas Rimša (1932–2010) – ekonomistas, valstybės tarnautojas, Kazys Rimša (g. 1935 m.) – žemdirbys, darbininkas, Janina Rimšaitė-Gylienė (g. 1938 m.) – ekonomistė, valstybės tarnautoja, Fausta Rimšaitė-Kaunietienė (g. 1941 m.) – ekonomistė finansininkė ir Vanda Rimšaitė (g. 1948 m.) – ekonomistė. Dėdė (tėvo brolis) Jonas Rimša (1905–1996) – kunigas.

1950–1960 m. mokėsi Svėdasų vidurinėje mokykloje. 1960–1966 m. su pertrauka mokėsi Vilniaus statybos technikume, įgijo statybos meistro specialybę. Studijas pertraukė, atlikdamas privalomąją karinę tarnybą sovietinėje kariuomenėje, kur aviacijos mechanikų mokykloje įgijo aviacijos radijo mechaniko specialybę, tarnavo aviacijos naikintuvų dalinyje. 1966–1974 m. studijavo Vilniaus inžineriniame statybos institute, įgijo inžinieriaus statybininko išsilavinimą.

1968–1971 m. J. Rimša dirbo Vilniaus 1-ojo statybos tresto Požeminių darbų valdyboje darbų vykdytoju, klojo požemines komunikacijas naujuose Vilniaus gyvenamuosiuose rajonuose.

1971–1975 m. jis buvo Paminklų restauravimo valdybos darbų vykdytojas, po įstaigos pertvarkymo 1975–1989 m. – Respublikinio kultūros paminklų restauravimo tresto vyriausiasis inžinierius. 1973–1975 m. jis organizavo buvusių Generalinio gubernatoriaus rūmų (dabar Lietuvos Respublikos Prezidentūra) restauravimą, vėliau restauravo Verkių dvaro rūmus, Vilniaus Žemutinės pilies teritorijos, Vilniaus universiteto ansamblio objektus.

Pertvarkius paminklų restauravimo institucijas, 1989–2000 m. J. Rimša dirbo Paminklų restauravimo projektavimo instituto pagalbinės bazės vedėju.

2000–2007 m. jis buvo tarptautinės chemijos pramonės kompanijos uždarosios akcinės bendrovės "Bostik" pardavimų vadovas, kol išėjo į pensiją.

Laisvalaikiu domisi istorija ir kultūros paveldu, mėgsta dirbti sode.

Vedęs, žmona Dalia Rimšienė – architektė. Dukterys: Lina Rimšaitė (g. 1969 m.) – teisininkė, valstybės tarnautoja, ir Laura Rimšaitė (g. 1988 m.) – teisininkė.

Išsami J. Rimšos biografija pateikta Romualdo Vytauto Rimšos sudarytame rinkinyje "Svėdasai : praeitis ir dabartis : teminis straipsnių rinkinys. T. 1" (2012 m.).