Tėvai: Juozas Karosas (1870–1934) ir Veronika Puodžiūnaitė-Karosienė (1875–1971) iš Gojaus – žemdirbiai ūkininkai. Šeimoje gimė 17, bet užaugo 10 vaikų. Broliai ir seserys: Jurgis Karosas (1902–1995) – miškininkas, Kazimieras Karosas (1905–1979) – žemdirbys ūkininkas, Ona Karosaitė-Sriubienė (1908–2001) – žemdirbė, Klemensas Karosas (1911–1955) – kariškis, Teklė Karosaitė-Raščiuvienė (1915–1986) – darbininkė, Otilija Karosaitė-Pekarskienė (1917–2017) – žemdirbė, tremtinė, Povilas Karosas (1919–1982) – inžinierius elektrikas, Anelė Karosaitė-Tamašauskienė (1922–?) – žemdirbė, Jonas Karosas (1926–1979) – žemėtvarkininkas. Giminaičiai: sūnėnas (sesers Otilijos sūnus) Vidmantas Povilas Pekarskas (g. 1942 m.) – mokslininkas matematikas, sūnėnas (sesers Onos sūnus) Vytautas Sriubas (1929–2016) – inžinierius, sporto organizatorius, dukterėčia (sesers Anelės duktė) Rita Tamašauskaitė-Rudaitienė (g. 1941 m.) – sportininkė irkluotoja, dukterėčia (sesers Teklės duktė) Nijolė Raščiūtė-Špokienė (g. 1939 m.) – mokslininkė agronomė.

1913 m. gruodžio 15 d. Anykščių bažnyčioje jį pakrikštijo vikaras Petras Račas.

Tėvams persikėlus, nuo 1915 m. užaugo Sterkonyse. Baigė Debeikių pradžios mokyklą. Patarus mokytojai Julijai Smetonaitei, toliau mokėsi Marijampolės Marijonų gimnazijoje, kurią baigęs ruošėsi studijuoti kunigystę. Tačiau 1933 m. jis pradėjo studijas Kauno Vytauto Didžiojo universiteto Teologijos-filosofijos fakultete.

1935 m. gegužės 4 d. J. Karosas buvo pašauktas į tarnybą Lietuvos kariuomenėje, 1935–1938 m. studijavo Karo mokykloje Kaune. 1938 m. gegužės 12 d. baigęs mokslą XIX laidoje, jis gavo aviacijos jaunesniojo leitenanto karinį laipsnį bei karo lakūno-žvalgo kvalifikaciją ir buvo paskirtas į Karo aviacijos 4-ąją eskadrilę, kuri buvo dislokuota Zokniuose prie Šiaulių.

Vėliau nuo 1938 m. spalio 3 d. jis buvo 3-osios eskadrilės II eilės karo lakūnas, nuo 1940 m. gegužės 25 d. – leitenantas, lakūnas-žvalgas. Karo aviacijoje jis skraidė 206 valandas.

1940 m. sovietinės okupacijos laikotarpiu likviduojant Lietuvos kariuomenę, 1940 m. spalio 3 d. J. Karosas buvo paskirtas Raudonosios armijos 29-ojo šaulių teritorinio korpuso atskirosios "Tautinės" aviaeskadrilės grandies šturmanu, tarnavo Pivonijos aerodrome šalia Ukmergės.

1941 m. birželį Lietuvą pasiekus Antrojo pasaulinio karo frontui, jo eskadrilė iš Ukmergės turėjo perskristi į Pabradę (Švenčionių r.) ir iš ten trauktis į Rusiją. Nutarę nesitraukti su Raudonąja armija, J. Karosas ir kiti lietuviai lakūnai pakilę pasuko atgal ir nusileido prie Siesikų (Ukmergės r.). Čia J. Karosas vokiečių buvo paimtas į nelaisvę, kalintas karo belaisvių stovykloje Kėdainiuose, vėliau – Rytų Prūsijoje, Austrijoje.

1941 m. spalį jis grįžo į Kauną, atgavo jėgas po kalinimo ir nuo 1942 m. rudens tęsė studijas Vytauto Didžiojo universitete, Istorijos-filologijos fakultete studijavo lietuvių kalbą ir literatūrą.

Kai 1943 m. kovą universitetas Kaune buvo uždarytas, 1943 m. J. Karosas grįžo į tėviškę Sterkonis ir 1943–1944 m. dirbo Anykščių gimnazijoje vokiečių kalbos mokytoju, buvo gimnazistų klasės, kurioje mokėsi ir Antanas Tyla, auklėtojas.

Antrojo pasaulinio karo pabaigoje jis vadovavo Lietuvos Fronto Kęstučio karinei organizacijai, veikusiai Anykščių valsčiuje, nuo 1944 m. pradžios pradėjo organizuoti ginkluotą būrį – rezistencinės kovos ištakas. 1944 m. pavasarį J. Karosas buvo paskirtas Lietuvos laisvės armijos Utenos apskrities štabo viršininku.

1944 m. vasarą jis traukėsi kartu su frontu į Vakarus. Liepos 23-osios naktį Raudonajai armijai bombarduojant Šiaulius, šiame mieste bomba pataikė į namą, kuriame jis laikinai buvo apsistojęs, ir sunkiai jį sužalojo.

Mirė 1944 m. liepos 24 d. Šiauliuose. Palaidotas Šiaulių Sukilėlių kalnelio kapinėse. Po Antrojo pasaulinio karo tas kapines likvidavus ir pavertus parku, kapas neišlikęs.

Debeikių (Anykščių r.) kapinėse tėvų ir brolio Kazimiero kapavietėje yra J. Karoso kenotafas – ant šeimos paminklo atminimui iškaltas ir J. Karoso vardas su gimimo ir mirties metais.

J. Karoso biografija publikuojama giminės genealogijos monografijoje "Sterkonių Karosai : šaknys ir atžalos" (sudarė Nijolė Špokienė ir Vidmantas Pekarskas, 2013 m.).