Gimimo data nustatyta pagal Troškūnų bažnyčios krikšto metrikų įrašą, kitų šaltinių duomenimis – 1909 m. sausio 6 d.

Tėvai: Petras Karka-Stimbirys ir Uršulė Vaičiūnaitė-Karkienė-Stimbirienė – žemdirbiai. Broliai ir sesuo: Antanas Karka-Stimbirys (1905–?), Kazimieras Karka-Stimbirys (1906–1915) – mirė vaikystėje, Povilas Karka-Stimbirys (1907–1908) – mirė kūdikystėje, Juozapas Karka-Stimbirys (1910–1910) – mirė kūdikystėje, Stanislovas Karka-Stimbirys (1911–?), Bronislovas Karka-Stimbirys (1913–1913) – mirė kūdikystėje, Ona Karkaitė-Stimbirytė (1916–1916) – mirė kūdikystėje ir Pranciškus Karka-Stimbirys (1918–?).

1908 m. gruodžio 27 d. Troškūnų bažnyčioje jį pakrikštijo vikaras Juozapas Adomavičius.

1922–1926 m. mokėsi Anykščių vidurinėje mokykloje, 1926–1930 m. baigė Panevėžio mokytojų seminariją.

1930 m. J. Karka buvo pašauktas į tarnybą Lietuvos kariuomenėje, mokėsi Karo mokykloje Kaune ir 1931 m. spalio 29 d. ją baigė VI aspirantų laidoje. Jam buvo suteiktas pėstininkų atsargos jaunesniojo leitenanto karinis laipsnis, iškart išleistas į pėstininkų karininkų atsargą. 1938 m. lapkričio 23 d. jam buvo suteitkas atsargos leitenanto laipsnis.

1932–1934 m. J. Karka dirbo Kalnėnų (Jurbarko r.) pradžios mokykloje mokytoju.

1932–1937 m. jis studijavo Kauno Vytauto Didžiojo universiteto Teisių fakulteto Ekonomikos skyriuje, įgijo ekonomisto išsilavinimą.

Nuo 1934 m. rugpjūčio iki 1940 m. birželio, iki pat pirmosios sovietinės okupacijos, J. Karka dirbo Lietuvos finansų ministerijos sekretoriumi, kainų tvarkytojo įstaigos kontrolieriumi Kaune, nuo 1939 m. – Vilniuje. Jis suredagavo ir išleido Lietuvos miestų tarifų knygą (1938 m.).

Jis dalyvavo skautų, šaulių ir atsargos karininkų organizacijų veikloje, nuo 1933 m. buvo aktyvus studentų atsargos karininkų korporacijos "Ramovė" narys. Nepriklausomoje Lietuvoje jis bendradarbiavo leidiniuose "Balsas", "Trimitas", "Tautos ūkis", "Mūsų rytojus", "Lietuvos aidas".

Nuo 1940 m. rugsėjo iki 1944 m. J. Karka dirbo Prekybos komisariate vyresniuoju ekonomistu. 

1944 m. J. Karka pasitraukė iš Lietuvos į Vakarus, 1944–1948 m. gyveno Vokietijoje lietuvių pabėgėlių stovyklose, kol 1948 m. rudenį emigravo į Kanadą, įsikūrė Toronte. Ten 1956 m. jis baigė braižytojų kursus ir 1956–1977 m. dirbo Toronto miesto savivaldybėje braižytoju.

J. Karka aktyviai bendradarbiavo spaudoje ir lietuvių bendruomenės visuomeninėje veikloje.

1952 m. kaip Kanados lietuvių sąjungos atstovas jis tapo pirmosios Toronto lietuvių organizacijų sudarytos Toronto lietuvių namų laikinosios valdybos nariu ir šias pareigas ėjo 1952–1954 m. Jis buvo Lietuvių namų Toronte steigimo, pastato įsigijimo ir jo pritaikymo lietuvybės veiklai organizatorius.

1954 m. liepos 11 d. Toronte J. Karka dalyvavo steigiamajame Toronto šaulių klubo susirinkime ir kartu su bendraminčiais įkūrė pirmąją šaulių organizaciją emigracijoje – Vl. Pūtvio šaulių kuopą. Vėliau jis ilgą laiką buvo Lietuvių žurnalistų sąjungos Toronto skyriaus pirmininkas.

J. Karka sudarė ir redagavo dokumentų ir atsiminimų rinkinius "Toronto Lietuvių Namai, 1951–1976 : sukaktuvinis leidinys" (su Pranu Basčiu, Birute Strazdiene ir Povilu Štuopiu, 1976 m.), "Vytauto Didžiojo universiteto Kaune studentų atsargos karininkų korporacija "Ramovė", 1933–1983 : atsiminimai" (1983 m.).

Buvo vedęs, žmona Marija Grinevičiūtė-Karkienė. Sūnus Rimantas Karka.

Mirė 1993 m. balandžio 30 d. Toronte (Kanada). Palaidotas Toronto Šv. Jono lietuvių kapinėse.