Tėvas Kazimieras Karvelis.

1947 m. baigė Anykščių gimnaziją 4-ojoje jos abiturientų laidoje. 1947–1952 m. studijavo Lietuvos žemės ūkio akademijos Miškų ūkio fakultete, įgijo miškininko išsilavinimą.

1952–1953 m. J. Karvelis dirbo Trakų miško pramonės ūkio Rūdiškių girininku. 1954–1955 m. jis buvo Varėnos miškų ūkio vyriausiasis miškininkas.

1956–1957 m. jis tęsė studijas Miškų ūkio vadovaujančiųjų darbuotojų rengimo kursuose Maskvoje (Rusija).

Nuo 1957 m. iki gyvenimo pabaigos J. Karvelis gyveno ir dirbo Prienuose. 1957 m. atskyrus dalį Alytaus miškų ūkio ir atkūrus Prienų miškų ūkį, 1957–1989 m. jis buvo pirmasis Prienų miško pramonės ūkio direktorius.

Vadovaudamas miško pramonės įmonei, jis ypač daug dėmesio skyrė statyboms, pastatė Prienų miško pramonės ūkio administracines bei dar 8 girininkijų patalpas su ūkio pastatais, taip pat gyvenamųjų namų miškininkams, įrengė sandėlius ir tris priešgaisrinius bokštus.

J. Karveliui vadovaujant Prienų miško pramonės ūkiui, jame buvo įveista 7100 hektarų miško kultūrų, pagaminta per 1,8 mln. kietmetrių medienos, nusausinta 3500 hektarų miškų.

Buvo vedęs, žmona Marija Karvelienė (1933–1985). Liko našlys.

Mirė 1989 m. gruodžio 25 d. Prienuose. Palaidotas Prienų ir Birštono kapinėse (15 kvartalas, 4 eilė, 11 kapavietė). Kapą ženklina pilko šlifuoto akmens paminklinė kompozicija su metaliniu kryžiumi. Ant akmeninių kolonų buvo įtaisyti įrašai metalinėmis raidėmis: "Juozas / Karvelis / 1927–1989" ir "Marija / Karvelienė / 1933–1985". Pertvarkius kapavietę, įrašai pašalinti, prie kolonų įtaisyta juodo šlifuoto akmens plokštė su iškaltu įrašu: "Karveliai // Marija / 1933–1985 // Juozapas / 1927–1989".