Gimimo data nustatyta pagal Svėdasų parapijos krikšto metrikų įrašą. Gimimo data pagal naująjį kalendorių – 1905 m. vasario 21 d.

Tėvai: Juozas Rimša (1860–1951) ir Kamilė-Emilija Laurelytė-Rimšienė (1860–1936) – žemdirbiai, turėjo 18 hektarų žemės Svėdasuose. Augo devintas vaikas gausioje šeimoje. Broliai: Antanas Rimša (1892–1965) – žemdirbys, tarnautojas, Svėdasų valsčiaus iždininkas, Juozapas Rimša (1897–?) ir kt. Sūnėnas (brolio Antano sūnus) Juozas Rimša (g. 1943 m.) – inžinierius statybininkas, restauratorius.

1905 m. vasario 10 d. Svėdasų bažnyčioje jį pakrikštijo vikaras Kazimieras Matulis, krikštatėviai buvo valstiečiai Juozapas Grižas ir Kamilė Laurelienė, Kazimiero Laurelio žmona.

Vaikystę praleido ganydamas kaimynų gyvulius. 1913–1915 m. mokėsi Svėdasų valdinėje rusiškoje pradžios mokykloje, paskui keletą metų sunkiai sirgo, 1918–1921 m. baigė keturių skyrių Svėdasų pradžios mokyklą. 1921–1923 m. baigė penkias klases Utenos "Saulės" progimnazijoje.

Kraštiečio kunigo Pranciškaus Raščiaus pavyzdžio paskatintas, 1923–1930 m. J. Rimša studijavo Kauno kunigų seminarijoje, 1930 m. baigė teologijos studijas Kauno Vytauto Didžiojo universiteto Teologijos-filosofijos fakulteto 4-ojoje Metropolijos kunigų laidoje, klausė specialųjį Kanonų kursą. Jis buvo kunigo kankinio Alfonso Lipniūno (1905–1945) studijų draugas. Studijuodamas kiek laiko giedojo seminarijos chore, aktyviai bendravo su gimtinės jaunimu, būrė svėdasiškius angelaičius, pavasarininkus, abstinentus. Tarp jo suburtų Svėdasų parapijos paauglių buvo ir būsimasis kunigas Steponas Galvydis. 1929 m. kovo 16 d. jis buvo įšventintas subdiakonu.

1930 m. birželio 14 d. J. Rimša buvo įšventintas kunigu. Kartu buvo įšventinti Jonas Vizgirda, Matas Šermukšnis ir kiti kunigai.

1930–1935 m. J. Rimša tarnavo vikaru Utenoje, kur talkino klebonui Jonui Asminavičiui. 1933–1935 m. jis buvo "Pavasario" federacijos Utenos rajono dvasios vadas. 1934 m. m. jis surengė Utenoje pavasarininkų kongresą, kuriame dalyvavo per 1,5 tūkst. atstovų.

Per savo darbštumą ir uolumą Utenoje jis neteko sveikatos ir 1935 m. pasiprašė metams atostogų gydytis. 1935–1941 m. jis gyveno Antalieptėje (Zarasų r.), talkino vietos klebonui pastoracijoje, ilgą laiką gydėsi privačioje A. Gylio vidaus ir nervų ligų ligoninėje Kaune. 1940 m. spalį ir lapkritį jis laikinai ėjo Daugailių (Utenos r.) Šv. Antano Paduviečio parapijos klebono pareigas, paskui vėl gydėsi. 1941 m. nuo vasario iki spalio jis gyveno kaip altarista Biliakiemyje (Utenos r.) pas kleboną J. Asminavičių, kol sustiprėjo ir galėjo grįžti į parapinį darbą.

1941–1942 m. J. Rimša porą mėnesių buvo vikaras Daujėnuose (Pasvalio r.), 1942–1945 m. tarnavo Rokiškyje, kur pusmetį buvo vikaras, o nuo 1942 m. rudens – Rokiškio amatų mokyklos tikybos mokytojas ir kapelionas. Nuo 1945 m. lapkričio iki 1946 m. vasario jis tarnavo vikaru  Traupyje (Anykščių r.), kur jam vėl pablogėjo sveikata, atsinaujino širdies ir plaučių ligos. Pasigydęs Panevėžyje, J. Rimša buvo išleistas ilgesnių atostogų ir 1946–1951 m. gyveno kaip altarista  Vabalninke (Biržų r.), 1951–1952 m. – Pumpėnuose (Pasvalio r.) ir 1952–1955 m. – Smilgiuose (Panevėžio r.), visur kiek galėdamas talkino kunigams pastoracijoje.

Kiek atgavęs jėgas, 1955–1956 m. J. Rimša tarnavo Anciškio (Kėdainių r.) Šv. apaštalo evangelisto Mato parapijos administratoriumi, 1956–1958 m. buvo Pumpėnų (Pasvalio r.) Švč. Mergelės Marijos Škaplierinės parapijos administratorius, 1958–1963 m. – Biržų Šv. Jono Krikštytojo parapijos administratorius, tuoj paskirtas klebonu ir Biržų dekanu. Jo iniciatyva buvo dekoruota Biržų bažnyčia.

Vėl pablogėjus sveikatai, jis pasitraukė iš klebono pareigų ir 1963–1975 m. buvo Ramygalos (Panevėžio r.) Šv. Jono Krikštytojo parapijos altarista vikaras, 1975–1993 m. – Saločių (Pasvalio r.) Šv. Juozapo parapijos altarista. 1980 m. Saločiuose paminėjęs auksinį savo kunigystės jubiliejų, jis buvo kunigas jubiliatas.

Nuo 1992 m. birželio 26 d. iki gyvenimo pabaigos jis gyveno Pasvalyje, nuo 1993 m. rugsėjo 3 d. kaip altarista talkino pastoracijoje Pasvalio Šv. Jono Krikštytojo parapijoje.

Likęs paskutinis gyvas 1930-ųjų seminarijos kurso dvasininkas, J. Rimša senatvėje bendravo su jaunimu, pasakodavo prisiminimus apie A. Lipniūną. 1989 m. perlaidojant A. Lipniūno palaikus Panevėžio katedros šventoriuje, jis sakė pamokslą prie kapo duobės. 1995 m. vasarį Pasvalyje jis paminėjo savo 90-metį, o 1995 m. birželį – kunigystės 65-metį.

Mirė 1996 m. balandžio 21 d. Pasvalyje. Palaidotas Pasvalio Šv. Jono Krikštytojo bažnyčios šventoriuje prie kitų kunigų. Kapą ženklina juodo akmens paminklas-stela su ovalia portretine nuotrauka ir įrašais: "Kun. Jonas / Rimša / 1905–1996" bei "Gimiau mirčiai, / miriau gyvenimui", kapavietę dengia šlifuoto akmens plokštė su iškaltais kunigystės ženklais.

Pasvalio Mariaus Katiliškio viešosios bibliotekos rankraštyne saugomos kunigo J. Rimšos 1950–1994 m. užrašų fragmentų kopijos, Pasvalio krašto muziejuje – J. Rimšos 1964 m. rašyti prisiminimai "Jonjuozio gyvenimas".