Tėvai: Juozapas Karvelis iš Klevėnų (Anykščių r.) ir Julija Vilkickaitė-Karvelienė (1874–1958) iš Gikonių (Anykščių r.) – žemdirbiai valstiečiai. Augo šešių vaikų šeimoje su trim broliais ir dviem seserimis, buvo vyriausias. Seserys: Stefanija Karvelytė-Kurkienė ir dar viena mirusi vaikystėje, broliai Kazys Karvelis, Serapinas Karvelis ir ? Karvelis.

Tėvams vis kitur nuomojantis dirbamą žemę, iki 1905 m. augo Želtiškiuose, 1905–1909 m. – Bajoruose (Anykščių r.), nuo 1909 m. – Laičiuose (Molėtų r.), kur šeima įsigijo nuosavą ūkį.

1908–1909 m. mokėsi pas daraktorių, 1913–1915 m. baigė Alantos (Molėtų r.) dviklasę pradžios mokyklą.

Pirmojo pasaulinio karo metais, būdamas dar paauglys, J. Karvelis ėmėsi prekybininko amato. Jis gabendavo maisto produktus į Vilnių, o iš ten atveždavo į kaimus reikalingų prekių.

1919 m. jis išėjo į Lietuvos kariuomenę, 1919–1922 m. J. Karvelis tarnavo štabo raštininku Kaune, kartu 1919–1923 m. mokėsi Lietuvos mokytojų profesinės sąjungos gimnazijoje. Demobilizuotas jis liko gyventi Kaune, 1922–1923 m. pusmetį dirbo samdomu kariuomenės raštininku, kol tokios pareigos buvo likviduotos.

1923 m. J. Karvelis pradėjo dirbti Lietuvos mokytojų profesinės sąjungos knygyne prekybininku, o įgijęs patirties 1923–1931 m. dirbo naujo "Spaudos fondo" knygyno vedėju.

1925 m. jis pradėjo dirbti ir knygų bei plakatų leidybos srityje – išleido mokytojo Gvildžio aritmetikos vadovėlius ir Antano Žmuidzinavičiaus pieštą Vytį.

1930 m. J. Karvelis kartu su Jonu Rinkevičiumi (1887–1958) Kaune įkūrė prekybos namus su knygynu ir muzikos, radijo, fotografijos, rašomųjų ir biuro mašinėlių, nedegių spintų, technikos ir elektrotechnikos skyriais. Šie prekybos namai atidarė savo skyrius Klaipėdoje (1930 m.), Telšiuose (1935 m.), Vilniuje (1939 m.). Kai 1936 m. jis perpirko J. Rinkevičiaus dalį, ši įmonė toliau vadinosi J. Karvelio prekybos namais. Įmonė šelpė gimnazistus, keliems Kauno konservatorijos studentams mokėjo stipendijas.

J. Karvelis rūpinosi ir lietuviškų plokštelių gamyba. Daug lietuviškos muzikos kūrinių  1938 m. jo prekybos namuose buvo įrašyta į plokšteles, kurios buvo naudojamos, rengiant radijo muzikines laidas.

1940 m. J. Karvelio prekybos namai buvo nacionalizuoti, tuo metu jų vertė siekė apie 3 mln. Lt. 1940–1941 m. J. Karvelis dirbo Vilniuje Rašytojų klubo reikalų tvarkytoju.

Antrojo pasaulinio karo metais J. Karvelis buvo atgaivinęs prekybą, 1941–1944 m. Kaune turėjo prekybos įmonę "Karvelis ir Ko". 1944 m. jis viską paliko ir pasitraukė į Vakarus, emigravo į Austriją ir 1945 m. karo pabaigos sulaukė Lambrechte.

Nuo 1945 m. vasaros jis gyveno perkeltųjų asmenų stovykloje Riede, buvo vienas iš stovyklos sanitarinio skyriaus vadovų, Lietuvių Tautinio komiteto pirmininkas, paskui kiek laiko ėjo stovyklos vedėjo pareigas, kol buvo perkeltas į Asteno, paskui – į Enso stovyklą. 1949–1950 m. J. Karvelis buvo Linzo lietuvių bendruomenės pirmininkas ir Lietuvos Raudonojo kryžiaus įgaliotinis. 1950 m. jis trumpai gyveno Gronau (Vokietija) pereinamojoje stovykloje.

1950 m. gruodį jis išvyko į JAV, apsigyveno Čikagoje, 1951 m. pusmetį dirbo Juozo Budriko kultūrinių prekių parduotuvėje, paskui "AP" maisto prekių parduotuvėje pardavėju. 1951 m. vasarą jis vėl ėmėsi privataus kultūrinių prekių verslo, palaipsniui atnaujino J. Karvelio prekybos namų veiklą, toliau vertėsi raštinės reikmenų ir knygų prekyba, leido knygas, katalogus, taip pat dirbo bibliotekoje. Jis išleido grožinės ir meninės literatūros leidinių, 5 literatūrinių plokštelių albumus, rinkinį "Dainų kraitis" (1957 m.), knygų katalogų.

Iki senatvės jis buvo investicinės kompanijos "Rūta Inc." dalininkas ir viceprezidentas.

Persikėlęs į Floridos valstiją, paskutinį gyvenimo dešimtmetį J. Karvelis praleido Surfsaide (Surfside). aktyviai dalyvavo lietuvių visuomeninėje ir kultūrinėje veikloje, ją remdamas.

J. Karvelis parašė ir išleido atsiminimus "Prekybininko keliu" (1979 m.).

Vedė 1939 m., žmona Teresė Prapuolenytė-Karvelienė-Karvelis (1910–1996). Duktė Diamantė Marija Karvelytė-Grėbliūnienė (g. 1939 m.).

Mirė 1988 m. spalio 18 d. Sarfsaide (Surfside, Floridos valstija, JAV).