Gimimo data nustatyta pagal Anykščių parapijos krikšto metrikų įrašą. Gimimo data pagal naująjį kalendorių – 1856 m. vasario 26 d.

Tėvai: Jonas Karosas (apie 1825 – 1899) iš Elmiškio ir Marijona Miškeliūnaitė-Karosienė (1825–1894) iš Vėjeliškių – žemdirbiai, pasiturintys ūkininkai. Augo trijų vaikų šeimoje su dviem broliais. Broliai: Kazimieras Karosas (1861–1917) – gydytojas ir Klemensas Karosas (1861–1933) – inžinierius kelininkas. Dar trys broliai: Kazimieras Karosas (1858 – iki 1861), Juozapas Karosas (1860–1861) ir Teofilis Karosas (1864–1865) – mirė vaikystėje. Giminaitis (pusbrolio Jono Karoso anūkas) Jonas Juodelis (1921–2006) – kunigas monsinjoras.

1856 m. vasario 15 d. Anykščių bažnyčioje jį pakrikštijo vikaras Konstantinas Januškevičius.

Baigė 6 klases Šiaulių gimnazijoje. 1876–1879 m. studijavo Kauno Žemaičių kunigų seminarijoje, kur jo moralinės teologijos ir homiletikos dėstytojas buvo Antanas Baranauskas. 1879–1883 m. tęsė studijas Sankt Peterburgo (Rusija) dvasinėje akademijoje, kur pasižymėjo kaip gabiausias to meto studentas. 1883 m. jis  apsigynė disertaciją apie Biblijos vertimus į lenkų ir lietuvių kalbas ir gavo teologijos magistro laipsnį.

1883 m. birželio 6 d. A. Karosas buvo įšventintas kunigu.

1883 m. rudenį jis buvo pakviestas dėstyti į Kauno Žemaičių kunigų seminariją kanonų teisę ir lotynų kalbą. Nuo 1884 m. jis pakeitė Žemaičių pavyskupiu tapusį Antaną Baranauską ir vietoje jo seminarijoje dėstė homiletiką ir lietuvių kalbą, buvo profesorius. Nuo 1891 m. jis apsiėmė dėstyti dar ir moralinę teologiją bei kanonų teisę.

Nuo 1886 m. rugsėjo iki 1900 m. spalio A. Karosas buvo ir vyskupo Mečislovo Leonardo Paliulionio (1834–1908) sekretorius – Žemaičių vyskupijos kancleris, daug padėjo vyskupui, ypač redaguodamas svarbius raštus, bendraudamas su rusų valdžia.

Nuo 1898 m. balandžio 9 d. A. Karosas buvo Žemaičių vyskupijos kapitulos kanauninkas, nuo 1902 m. lapkričio 18 d. – prelatas. Paskirtas 1900 m. spalio 27 d., 1900–1906 m. jis dirbo Kauno Žemaičių kunigų seminarijos rektoriumi. Tuo metu A. Karosas parašė ir išleido knygelę "Trumpas pamokymas apie nekaltą prasidejimą Paneles Szwenczausios : isz priežasties 50-metu jubiliejaus apgarsinimo tos tikejimo tiesos" (1904 m.), 1906–1907 m. jis redagavo savaitraštį "Nedėldienio skaitymas".

1906 m. spalio 25 (lapkričio 8) d. A. Karosas buvo paskirtas tituliniu Dorilėjos vyskupu ir Lucko-Žitomiro vyskupijos vyskupu sufraganu. 1907 m. birželio 3 (16) d. Sankt Peterburge (Rusija) Žemaičių vyskupas M. L. Paliulionis kartu su vyskupais Karoliu Antanu Nedzialkovskiu ir Gasparu Cirtautu konsekravo jį Dorilėjos vyskupu.

1909 m. gruodžio 6 d. A. Karosas pašventino Kijevo (Ukraina) Šv. Mikalojaus bažnyčią.

1910 m. balandžio 7 d. jis buvo paskirtas Seinų (Lenkija) vyskupu, Seinų ir Augustavo vyskupijos ordinaru, 1910 m. birželio 29 d. iškilmingai priėmė šią vyskupiją ir 1910–1920 m. paskutinis šios vyskupijos valdytojas. Kaip vyskupas jis rūpinosi vaikų katekizacijos ir tikybos dėstymo pradinėse mokyklose gerinimu, stengėsi stiprinti pamaldumą ir adoraciją Švč. Sakramentui. A. Karosui ypač sunkiai sekėsi derinti lietuvių ir lenkų įtaką vyskupijoje, gerinti jų santykius. Palankumą lenkams demonstravusį vyskupijos valdytoją lietuviai vertino kaip pasenusios lenkiškos orientacijos atstovą.

Prasidėjus Pirmajam pasauliniam karui ir vokiečiams veržiantis į Rytus, 1915 m. A. Karosas carinės Rusijos valdžios liepimu apsigyveno Sankt Peterburge ir visą laiką siekė leidimo grįžti į savo vyskupiją. 1917 m. sausio 15 d. Sankt Peterburge jis konsekravo Žitomiro vyskupą Ignotą Mariją Dubowskį.

1917 m. per Švediją ir Vokietiją grįžęs į Seinus, A. Karosas iki 1920 m. toliau ėjo Seinų vyskupo pareigas ir valdė lietuviškąją jos dalį. 1918 m. Seinuose jis atidarė lietuvišką kunigų seminariją, taip užsitraukdamas lenkų nemalonę. 1919 m. liepos 13 d. Kauno arkikatedroje jis konsekravo tituliniu Ceramo vyskupu Juozapą Skvirecką.

1919 m. lenkams užėmus Seinus, seminarija buvo uždaryta, o lietuviai dėstytojai ir klierikai ištremti į Lietuvą, įsikūrė Zyplių dvare (Šakių r.), o 1922–1930 m. veikė Gižuose (Vilkaviškio r.). Vyskupas A. Karosas, išvarytas iš Seinų, kelis mėnesius glaudėsi Punsko klebonijoje, o 1920 m. buvo priverstas kraustytis į Lietuvą. 1920–1926 m. jis gyveno Marijampolėje, marijonų vienuolyne.

1926 m. balandžio 4 d. popiežiui Pijui XI įsteigus Lietuvos bažnytinę provinciją ir įkūrus naują Vilkaviškio vyskupiją, 1926 m. balandžio 5 d. A. Karosas buvo paskirtas pirmuoju jos vyskupu ir šias pareigas ėjo 1926–1947 m., iki gyvenimo pabaigos. 1926 m. gegužės 2 d. jis dalyvavo naujų vyskupų konsekravimo iškilmėse ir asistavo arkivyskupui Pranciškui Karevičiui, konsekravusiam vyskupu Kazimierą Paltaroką, 1926 m. gegužės 25 d. iškilmingai konsekravo Telšių vyskupą Justiną Staugaitį.

Jis organizavo pirmąją Vilkaviškio vyskupijos kuriją, iki 1930 m. pastatė trijų aukštų kunigų seminarijos, perkeltos į Vilkaviškį iš Gižų, rūmus, uoliai lankė parapijas, teikė Sutvirtinimo sakramentą.

1933 m. popiežiaus Pijaus XI jis buvo paskirtas Šv. Tėvo sosto asistentu ir gavo Romos grafo titulą. 1933 m. liepos 6 d. paminėjęs savo kunigystės 50-metį, A. Karosas tapo pirmuoju Lietuvos vyskupu, sulaukusiu tokios sukakties.

1938 m. A. Karosas keliavo į Romą ir susitiko su popiežiumi Pijumi XI.

Sovietinės okupacijos metu seminarijos ir vyskupo rūmai buvo konfiskuoti, todėl A. Karosas 1940–1941 m. gyveno Vilkaviškio klebonijoje. 1940 m. rugpjūčio 4 d. Vilkaviškio katedroje jis konsekravo vyskupu Vincentą Padolskį, paskirtą jo augziliaru. Vokiečių okupacijos metais jis tęsė vyskupo veiklą, tačiau buvo jau silpnos sveikatos. 1944 m. vasarą jis nusprendė niekur nesitraukti, nors karo frontas suniokojo Vilkaviškį, buvo sugriauta katedra ir vyskupo rezidencija.

1944–1946 m. A. Karosas gyveno Šunskuose (Marijampolės sav.), nuo 1946 m. iki gyvenimo pabaigos – Marijampolėje, marijonų vienuolyne. 1946 m. jis dar įstengė suteikti Sutvirtinimo sakramentą 1 tūkst. tikinčiųjų. 1947 m. birželio 29 d. Marijampolėje buvo iškilmingai paminėta A. Karoso vyskupavimo 40 metų sukaktis.

Mirė 1947 m. liepos 7 d. Marijampolėje. Palaidotas Marijampolės Šv. arkangelo Mykolo bažnyčios Šv. Onos koplyčios kriptoje. Kapavietę sienoje dengia marmuro plokštė su vyskupo herbu, ją žymi paminklinė kompozicija su bareljefu ir įrašu: "Vilkaviškio vyskupas / Antanas Karosas / * 1856.II.7 – + 1947.VII.7".

Vyskupo Antano Karoso vardu pavadinta viena gatvė Vilkaviškyje.

Vilkaviškio katedroje įrengta A. Karoso atminimo lenta su jo portretiniu bareljefu, akmens plokštėje iškaltas įrašas: "Vyskupas / Antanas Karosas / 1849–1947".

1994 m. Kauno Vytauto Didžiojo universiteto bakalauras Jordanas Kazlauskas apgynė darbą "Vyskupo A. Karoso asmenybė ir ganytojavimo bruožai".