Gimimo data pagal naująjį kalendorių – 1890 m. liepos 16 d.

Tėvai: Jurgis Karosas (1852–1911) ir Apolonija Juodytė-Karosienė (1860–?) – valstiečiai žemdirbiai. Broliai ir seserys: Marija Karosaitė-Rašimienė (1888–1970) – emigrantė JAV, Ona Karosaitė (apie 1892 – po 1967), Grasilda Karosaitė-Meškauskienė-Lisauskienė (1894–?), Jonas Karosas (1895–?), Vytautas Karosas (1896–1967) – literatas poetas, Sofija Karosaitė-Veteikienė (1898–1945) ir Kazys Karosas (1901–1977) – laisvės gynėjas, Lietuvos kariuomenės savanoris, emigrantas JAV.

Giminaičiai: (tėvo pusbrolis, senelio Kazimiero brolio sūnus) Antanas Karosas (1856–1947) – dvasininkas vyskupas, pusbrolio vaikai (tėvo pusbrolio Jurgio sūnaus Juozo sūnūs): Jurgis Karosas (1902–1995) – miškininkas, Klemensas Karosas (1911–1955) – kariškis, Juozas Karosas (1913–1944) – kariškis aviatorius, pedagogas, sūnėnas (sesers sūnus) Vytautas Veteikis (1924–1996) – pedagogas, kraštotyrininkas.

Savarankiškai, tėvo pamokytas iš maldaknygės, išmoko lietuviškai skaityti. Vaikystėje ganė gyvulius, žiemomis 1900–1903 m. baigė Utenos valdinę pradžios mokyklą, 1903–1905 m. – Utenos dviklasę miesto mokyklą pirmojoje jos laidoje. Toliau nebesimokė, dirbo tėvų ūkyje.

Įsigijęs armoniką, nuo 1905 m. J. Karosas buvo kaimo muzikantas, vėliau mokėsi groti smuiku ir kitais muzikos instrumentais, pažino natas. Muzikos mokė tėvas ir Leliūnų (Utenos r.) vargonininkai Kazimieras Treinys, vėliau – Juozas Gruodis. Dėl tėvo mirties likęs šeimos galva, išvengė karinės tarnybos carinės Rusijos kariuomenėje.

1912–1913 m. J. Karosas kartu su J. Gruodžiu vargoninkavo ir vadovavo chorui Kuktiškėse (Utenos r.), 1913–1915 m. toliau dirbo vargonininku ir chorvedžiu Alantoje (Molėtų r.).

Artėjant Pirmojo pasaulinio karo frontui, 1915 m. jis išvyko į Maskvą (Rusija) ir įstojo į Jurijaus Slavianskio vadovaujamą chorą. Su šiuo kolektyvu jis visą sezoną gastroliavo po įvairius Rusijos miestus. 1916–1921 m. J. Karosas vargonininkavo, dirbo mokytoju, koncertmeisteriu ir chorų vadovu Jarceve (Smolensko sritis, Rusija), kur jį pakvietė pabėgėlių komitetas. Iš čia jis nuvykdavo į Smolenską pas pianistą teoretiką Aleksandrą Engelį privačiai mokytis skambinti fortepijonu. Porevoliuciniu laikotarpiu iširus chorams, 1921 m. vasarą jis grįžo į tėviškę ir ruošėsi studijoms.

1921–1927 m. J. Karosas studijavo Rygos (Latvija) konservatorijoje vargonavimą, kompoziciją ir dirigavimą, įgijo vargonininko ir kompozitoriaus išsilavinimą. Studijuodamas jis pragyveno, dėstydamas muziką ir dainavimą Rygos lietuvių gimnazijoje, vadovavo lietuvių ir latvių chorams, dirbo vargonininku bažnyčiose, rengė koncertus Rygoje ir kitur.

Po studijų likęs dirbti Rygoje, J. Karosas rengdavo vargonų koncertus, diriguodavo lietuvių muzikos koncertams Rygos radiofone. Ypač kūrybiškai jis dirbo su Rygos lietuvių jaunimo mišriuoju choru "Šviesa" (1921–1930 m.). Choras turėjo parengęs didelį lietuviškų kūrinių repertuarą ir nemažai koncertavo, dalyvavo Latvijos dainų šventėse, 1923 ir 1927 m. koncertavo Kaune.

1930 m. J. Karosas persikėlė į Kauną. 1930–1937 m. jis buvo Kauno "Saulės" gimnazijos ir Kauno "Saulės" mokytojų seminarijos muzikos ir giedojimo mokytojas bei chorų vadovas, dirbo E. Laumenskienės liaudies konservatorijoje, vadovavo "Dainos" chorui (1931–1936 m.) ir dirigavo Kauno radijo simfoniniam orkestrui. J. Karosas Kaune dalyvavo Filharmonijos draugijos veikloje, nemažai rašė "Muzikos baruose", "Muzikoje ir teatre" ir kitur, 1936–1937 m. kelis mėnesius dirbo Kauno radiofono tautosakos archyve.

1937 m. jis buvo paskirtas Klaipėdos muzikos mokyklos direktoriumi. Klaipėdą okupavus, mokykla 1939 m. buvo perkelta į Šiaulius. Čia J. Karosas kartu dirbo ir Šiaulių dramos teatro muzikinės dalies vedėju.

1946–1956 m. J. Karosas vėl buvo Klaipėdos muzikos mokyklos direktorius ir pedagogas. Jis vadovavo Klaipėdos mokytojų instituto studentų mišriajam chorui, dėstė muziką fakultatyviniuose būreliuose, rengė koncertus, organizavo dainų šventes ir buvo jų vyriausiasis dirigentas.

1956–1981 m. jis dirbo Lietuvos valstybinės konservatorijos choro dirigavimo katedros vyresniuoju dėstytoju. Nuo 1965 m. jis buvo docentas, nuo 1977 m. – profesorius.

1956–1964 m. jis taip pat dėstė muzikos teorijos disciplinas Vilniaus Juozo Tallat-Kelpšos muzikos mokykloje, o 1957–1961 m. buvo Vilniaus valstybinio pedagoginio instituto Muzikos katedros choro dirigavimo dėstytojas.

J. Karosas buvo Kauno, Klaipėdos, Vilniaus miestų ir daugelio rajonų dainų švenčių dirigentas, respublikinių dainų švenčių konsultantas ir vyriausiasis dirigentas (1950, 1955, 1975 m.). Lietuvos miestuose ir miesteliuose jis surengė daug savo kūrybos autorinių koncertų, buvo chorų apžiūrų bei konkursų žiuri pirmininkas arba narys.

Jis parašė muzikos vadovėlį "Garsų keliais" (1936 m.), daug muzikinių straipsnių, chorų koncertų recenzijų ir mokslo darbų. Sukūrė dainų chorams, solistams ir vaikams, stambių vokalinių ir instrumentinių kūrinių: oratorijų, simfonijų, rapsodiją, siuitų simfoniniam ir styginiam orkestrui.

J. Karosas harmonizavo daug lietuvių liaudies dainų, parašė muzikos fortepijonui ir kitiems instrumentams bei ansambliams. Jo harmonizuota lietuvių liaudies daina "Augo kieme klevelis" skambėjo 1978 m. 5-ojoje JAV ir Kanados lietuvių dainų šventėje Toronte.

J. Karosas buvo Lietuvos kompozitorių sąjungos narys, ne kartą rinktas ir į valdybą.

Senatvėje jis parašė ir išleido atsiminimų knygą "Nueitas kelias" (1976 m.) – pirmąją sumanytos dilogijos dalį, apimančią gyvenimo laikotarpį iki 1941 metų.

J. Karosui buvo suteiktas Lietuvos SSR nusipelniusio meno veikėjo (1954 m.) ir Lietuvos SSR liaudies artisto (1960 m.) garbės vardai, jis buvo apdovanotas Lietuvos SSR valstybine premija (1972 m.).

Vedė 1923 m. birželio 24 d. Kauno Švč. Trejybės bažnyčioje, žmona Emilija Vainiūnaitė-Karosienė (1899–1976). Liko našlys. Vaikai: Rima Karosaitė (1925–2014) – pianistė, muzikos pedagogė, Algirdas Karosas (1927–1980) – žurnalistas, fotografas, ir Jūratė Karosaitė-Karosevičiūtė (g. po 1941 m.) – pianistė, muzikos pedagogė. Anūkas Saulius Karosas (1958–2019) – verslininkas, muzikos mecenatas.

Mirė 1981 m. birželio 6 d. Vilniuje. Palaidotas Vilniaus Antakalnio kapinėse Menininkų kalnelyje. Kapą ženklina skulptūrinė kompozicija su cilindrinėje ertmėje įkomponuotu akmeniniu kryžiumi. Kapavietę šlaite dengiančioje juodo šlifuoto akmens plokštėje iškaltas įrašas: "Kompozitorius / Juozas Karosas / 1890–1981 / Rima Karosaitė / 1925–2014"

Išleista muzikologo J. Špigelglazo monografija "Juozas Karosas" (1967 m.).

Klaipėdos 1-ajai vaikų muzikos mokyklai suteiktas Juozo Karoso vardas (1990 m.).

Juozo Karoso vardu pavadinta viena Klaipėdos miesto gatvė.

J. Karoso gimtinėje Spragučio kaime pastatytas paminklinis akmuo, kuriame iškalti jo harmonizuotos lietuvių liaudies dainos "Vai žydėk žydėk, balta obelėle" vienos eilutės natos ir žodžiai bei įrašas: "Čia buvusiame Spraguičio / vienkiemyje 1890 m. liepos 16 d. / gimė lietuvių kompozitorius / ir dirigentas / Juozas Karosas" (1990 m.). 2001 m. jo gimtoji sodyba buvo atkurta, joje vyksta kultūros renginiai.

Minint jo 125-ąsias gimimo metines, prie namo Palangoje, Birutės  al. 5, įrengta J. Karoso atminimo lenta su iškaltu įrašu: "Šiame name 1958–1981 m. / gyveno ir kūrė kompozitorius, / pedagogas ir dirigentas / Juozas Karosas" (2015 m.).

Lietuvos muzikos ir teatro akademijoje įrengta Juozo Karoso salė, joje yra kompozitoriaus skulptūrinis portretas (autorius – skulptorius Konstantinas Bogdanas, 1971 m.).

Lietuvos literatūros ir meno archyve saugomas Juozo Karoso dokumentų asmeninis fondas (F. 171), viename jo apyraše yra 433 saugomi vienetai, gauti 1969 m., pildyti iki 2017 m.