Tėvai: Antanas Karosas (1891–1942) – kariškis pulkininkas leitenantas, politinis kalinys, ir Larisa Akulovaitė-Karosienė (1896–?) – emigrantė Kanadoje. Giminaičiai: Juozas Karosas (1913–1944) – kariškis, aviatorius, Klemensas Karosas (1911–1955) – kariškis, Jurgis Karosas (1902–1995) – miškininkas.

1921 m. gruodžio 29 d. Anykščių bažnyčioje jį pakrikštijo vikaras Mykolas Ruseckas, krikštatėviai buvo Antanas Matukas ir Liudvika Karosaitė bei Vladimiras Karosas ir Emilija Matuzaitė.

Su tėvais apie 1921 m. grįžęs į Lietuvą, keletą metų augo Kaune, paskui nuo 1928 m. trumpai mokėsi Kėdainių gimnazijoje, 1936 m. baigė Kauno jėzuitų gimnaziją. J. Karosas jaunystėje sportavo – buvo lengvaatletis, pasiekė įvairių sporto rekordų.

1936–1939 m. jis studijavo Kauno Vytauto Didžiojo universiteto Technikos fakulteto Elektromechanikos skyriuje, kol 1939 m. buvo mobilizuotas į karinę tarnybą Lietuvos kariuomenėje. 1940 m. spalio 1 d. jis baigė Karo mokyklą Kaune XV aspirantų laidoje. Prasidėjus pirmajai sovietinei okupacijai, dėl politinių motyvų karininko laipsnis jam nebuvo suteiktas, bet jis buvo išleistas į karininkų atsargą.

1940–1942 m. J. Karosas dirbo Kauno "Arsenalo" karo ginklų dirbtuvėse.

Kilus Vokietijos-Sovietų Sąjungos karui, 1941 m. birželio 23–28 d. J. Karosas buvo Birželio sukilimo dalyvis Kaune. 1942 m. jis gyveno ir dirbo kaime.

1943–1944 m. J. Karosas dirbo Anykščių gimnazijoje fizikos ir kūno kultūros mokytoju.

1944 m. vasarą jis pasitraukė į Vakarus, pakeliui sukūręs šeimą su buvusia savo mokine, 1944–1948 m. gyveno Vokietijoje. Iš pradžių J. Karosas dirbo Selbo mieste fabrike braižytoju, vėliau persikėlė į Saalfeldą Tiuringijoje ir ten taip pat dirbo braižytoju ginklų fabrike. 1945 m. jis įsikūrė Hanau pabėgėlių stovykloje Bavarijoje, 1946–1948 m. gyveno Bruckeno miestelyje.

1948 m. birželį jis su šeima išvyko į Kanadą, kur pasiliko visam gyvenimui.

1948–1951 m. J. Karosas gyveno Reginos mieste (Saskačevano provincija) ir jo apylinkėse, dirbo samdiniu pas ūkininkus, statybose.

Nuo 1951 m. iki gyvenimo pabaigos J. Karosas gyveno Edmontone (Albertos provincija) ir dirbo statybos įmonėse techniku statybininku. Statant Edmontone lietuvių bendruomenės namus, jis vadovavo jų statybai.

1992 m. jis pirmą kartą nuo 1944 m. lankėsi Lietuvoje, dar kartą viešėjo 1994 m., kai Anykščiuose dalyvavo 1-osios gimnazistų laidos susitikime po 50 metų ir kartu šventė auksinį savo santuokos jubiliejų.

Susituokė 1944 m. liepą Šeduvos (Radviliškio r.) bažnyčioje (sutuokė giminaitis kunigas Mykolas Karosas), žmona Emilija Vasiljevaitė-Karosienė (1923–2021) – švietėja, visuomenininkė. Sūnus Algirdas Antanas Karosas (1945–2011) – medicinos vadybininkas, dukterys Gailutė Karosaitė-Hileman (g. 1946 m.) – pedagogė, Nijolė Karosaitė-Nejolla Korris (g. 1961 m.) – kultūros vadybininkė.

Mirė 1997 m. liepos 9 d. Edmontone (Kanada). Palaidotas Edmontono Šv. Joachimo kapinių mauzoliejuje.