Baigė Kauno Žemaičių kunigų seminariją.

1908 m. gruodžio 7 d. Žemaičių vyskupijos valdytojas Gasparas Cirtautas įšventino jį kunigu. Kartu buvo įšventinti Antanas Braknys, Juozapas Mazūra, Mykolas Paškevičius, Justinas Ribokas ir kiti kunigai.

1909–1910 m. J. Kvietkauskas tarnavo vikaru pirmojoje savo parapijoje Kupiškyje. Jis buvo aktyvus blaivybės platintojas, Blaivybės draugijos pirmininkas, jo iniciatyva Kupiškyje buvo įkurta ir sėkmingai veikė arbatinė. J. Kvietkauskas buvo ir Vartotojų draugijos pirmininkas, rūpinosi vaikų mokymu. Nuo 1910 m. jis tarnavo vikaru Šatėse (Skuodo r.).

1912–1914 m. J. Kvietkauskas buvo Pandėlio (Rokiškio r.) parapijos vikaras. Pandėlyje jis subūrė ir lavino bažnyčios chorą, ėmėsi iniciatyvos ir įsteigė Vartotojų draugiją, todėl parapijiečių buvo labai gerbiamas.

Atvykęs 1914 m. sausio 30 d., 1914–1916 m. J. Kvietkauskas buvo Andrioniškio (Anykščių r.) bažnyčios kuratas, Anykščių parapijos kunigas filialistas. Jis tęsė kunigo Jono Baltušio pradėtus organizuoti naujos Andrioniškio bažnyčios statybos darbus, suderino projektą, įkūrė plytinę, tačiau prasidėjus Pirmajam pasauliniam karui šie darbai nutrūko.

1916–1918 m. jis tarnavo Kavarsko (Anykščių r.) Šv. Jono Krikštytojo parapijos klebonu, pakeitė į Pienionis dėl prasidėjusių karo veiksmų ir sugriautos bažnyčios pasitraukusį Petrą Legecką.

1916 m. pradžioje atvykęs į Pirmojo pasaulinio karo pradžioje 1915 m. suniokotą Kavarsko bažnyčią, J. Kvietkauskas laikė pamaldas špitolėje ir iškart organizavo bažnyčios valymo ir atstatymo darbus. Jo iniciatyva iš pastato buvo pašalintos griuvėsių liekanos, paruošta mediena ir uždengtas bažnyčios stogas, sudėtos grindys, užtaisyti langai, kad viduje vėl galėtų vykti pamaldos.

J. Kvietkausko iniciatyva prie Šv. Jono šaltinio buvo nutiestas kelias nuo bažnyčios, sutvarkyta ten buvusi koplytėlė bei pastatyta Šv. Jono Krikštytojo skulptūra.

Kavarske J. Kvietkauskas pasižymėjo iškalbingumu ir energingumu, stebino optimizmu ir tikėjimo pavyzdžiu.

1918 m. pavasarį, kai Lietuvoje siautė šiltinės epidemija, jis lankydamas ligonius užsikrėtė ir susirgo.

Mirė 1918 m. kovo 8 d. Ukmergės ligoninėje. Palaidotas Kavarsko bažnyčios šventoriuje, kapą ženklina paminklas – horizontali akmeninė plokštė su nykstančiu įrašu: "Juozapas Kvetkauskas. Kavarsko klebonas. Gimė 1886 m. 28 II. Mirė 1918 m. 8 III."