Seneliai: Juozas Rimša (1860–1951) ir Kamilė Rimšienė (1860–1936) – žemdirbiai, turėjo 18 hektarų žemės Svėdasuose. Tėvai: Antanas Rimša (1892–1965) ir Vincenta Šinkūnaitė-Rimšienė (1907–1994) – žemdirbiai. Augo šešių vaikų šeimoje. Broliai ir seserys: Jonas Rimša (1932–2010) – ekonomistas, valstybės tarnautojas, Kazys Rimša (g. 1935 m.) – žemdirbys, darbininkas, Janina Rimšaitė-Gylienė (g. 1938 m.) – ekonomistė, valstybės tarnautoja, Fausta Rimšaitė-Kaunietienė (g. 1941 m.) – ekonomistė finansininkė ir Vanda Rimšaitė (g. 1948 m.) – ekonomistė. Dėdė (tėvo brolis) Jonas Rimša (1905–1996) – kunigas.

1950–1960 m. baigė Svėdasų vidurinę mokyklą. 1960–1966 m. su pertrauka mokėsi Vilniaus statybos technikume, įgijo statybos meistro specialybę. Studijas pertraukė, atlikdamas privalomąją karinę tarnybą sovietinėje kariuomenėje, kur aviacijos mechanikų mokykloje įgijo aviacijos radijo mechaniko specialybę, tarnavo aviacijos naikintuvų dalinyje. 1966–1974 m. studijavo Vilniaus inžineriniame statybos institute, įgijo inžinieriaus statybininko išsilavinimą.

1968–1971 m. J. Rimša dirbo Vilniaus 1-ojo statybos tresto Požeminių darbų valdyboje darbų vykdytoju, klojo požemines komunikacijas naujuose Vilniaus gyvenamuosiuose rajonuose.

1971–1975 m. jis buvo Vilniaus paminklų restauravimo valdybos darbų vykdytojas, 1975–1989 m. – šios valdybos vyriausiasis inžinierius. 1973–1975 m. jis organizavo buvusių Generalinio gubernatoriaus rūmų (dabar Lietuvos Respublikos Prezidentūra) restauravimą, vėliau restauravo Verkių dvaro rūmus, Vilniaus Žemutinės pilies teritorijos, Vilniaus universiteto ansamblio objektus.

Pertvarkius Vilniaus paminklų restauravimo valdybą, 1989–2000 m. J. Rimša dirbo jos pagalbinės bazės vedėju.

2000–2007 m. jis buvo tarptautinės chemijos pramonės kompanijos uždarosios akcinės bendrovės "Bostik" pardavimų vadovas.

Laisvalaikiu domisi istorija ir kultūros paveldu, mėgsta dirbti sode.

Vedęs, žmona Dalia Rimšienė – architektė. Dukterys: Lina Rimšaitė (g. 1969 m.) – teisininkė, valstybės tarnautoja, ir Laura Rimšaitė (g. 1988 m.) – teisininkė.

Išsami J. Rimšos biografija pateikta Romualdo Vytauto Rimšos sudarytame rinkinyje "Svėdasai : praeitis ir dabartis : teminis straipsnių rinkinys. T. 1" (2012 m.).