Gimimo data nustatyta pagal krikšto metrikų įrašą. Kitur minimas kaip gimęs 1874 m. kovo 9 d.

Tėvai: Martynas Karvelis ir Juozapota Girkutė-Karvelienė – valstiečiai žemdirbiai.

1874 m. kovo 10 d. Skiemonių bažnyčioje jį pakrikštijo šios bažnyčios kuratas Karolis Bernotavičius, krikštatėviai buvo valstiečiai Jonas Girkus ir Marijona Maleckaitė.

1897–1901 m. baigė Vilniaus kunigų seminariją.

1901 m. birželio 24 d. Vilniaus arkikatedroje J. Karvelis buvo įšventintas kunigu.

1901–1903 m. jis tarnavo Švenčionių parapijoje vikaru, talkino klebonui švietėjui ir knygnešiui Jonui Burbai.

Perkeltas 1904 m. sausio 1 d., 1904–1918 m. J. Karvelis buvo Birštono Šv. Antano Paduviečio parapijos klebonas. Jis tęsė 1900 m. pradėtą naujos Birštono bažnyčios statybą ir 1904–1909 m. ją kartu su parapijiečiais pastatė pagal architekto Vaclovo Michnevičiaus neogotikinį projektą. Jo rūpesčiu meistras Jonas Garalevičius apie 1908 m. naujojoje bažnyčioje sumontavo naujus vargonus, veikiančius iki šiol, maldos namų interjerą papuošė specialiai sukurti meno kūriniai.

Tarnaudamas Birštone, J. Karvelis pasižymėjo kaip energingas lietuvybės plėtotojas, buvo laikomas lenkų kalbos ir kultūros priešininku. Jis bendradarbiavo spaudoje, paskelbė apie 40 publikacijų apie Birštoną leidiniuose "Tėvynės sargas", "Vilniaus žinios", "Viltis", "Šaltinis" ir kituose, dažniausiai pasirašydamas "Svečio" slapyvardžiu.

1918 m. balandį, prašomas Vasario 16-osios akto signataro Valkininkų (Varėnos r.) klebono Vlado Mirono, J. Karvelis sutiko persikelti toliau tarnauti į Valkininkus, kad V. Mironas galėtų aktyviau įsilieti į Nepriklausomos Lietuvos kūrimo veiklą, ir 1918–1928 m. buvo Valkininkų Švč. Mergelės Marijos apsilankymo parapijos klebonas.

Valkininkams patekus į Lenkijos okupuotą Vilniaus kraštą, dvasininkas lenkų valdžios buvo ujamas ir persekiojamas už lietuvybės gynimą, lietuvių kalbos vartojimą parapijos dokumentuose ir metrikuose, lietuviškos spaudos platinimą. 1927 m. spalio 5 d. jo veikla Valkininkuose faktiškai nutrūko, nes J. Karvelis buvo Valkininkuose lenkų pareigūnų suimtas, kartu su kitais lietuvybės skleidėjais Vilniaus krašte įkalintas Lukiškių kalėjime Vilniuje, paskui 1927 m. spalio 14 d. iš Vilniaus krašto išsiųstas į Lietuvą.

Po kelių mėnesių grįžęs kunigauti į Vilniaus kraštą, 1928–1931 m. J. Karvelis buvo Lazūnų (dabar – Lazduny, Vijos r., Gardino sritis, Baltarusija) Šv. apaštalų Simono ir Judo-Tado parapijos klebonas. Tarnaudamas Lazūnuose, jis įsteigė parapijoje du lietuviškos Šv. Kazimiero draugijos skyrius.

Perkeltas 1931 m. lapkričio 11 d., 1931–1933 m., iki gyvenimo pabaigos, jis tarnavo Dvarčių (dabar Dvorcy, Gardino sritis, Baltarusija) parapijos klebonu.

Jausdamas silpstančią sveikatą, dvasininkas prašėsi perkeliamas arčiau Druskininkų, 1933 m. rugpjūtį pretendavo į mirusio klebono vietą Ratnyčios (Druskininkų sav.) parapijoje, tačiau tokio paskyrimo dėl lenkų valdžios daromų kliūčių nesulaukė.

Mirė 1933 m. rugsėjo 25 d. Dvarčiuose (dabar Dvorcy, Gardino sritis, Baltarusija). Palaidotas Dvarčių kapinėse.

Birštono bažnyčios zakristijoje nuo XX a. pradžios visą šimtmetį kabojo šios bažnyčios statytojo klebono J. Karvelio portretas (autorius – tapytojas Nikodemas Silvanavičius). Dabar jis eksponuojamas Birštono sakraliniame muziejuje.