Tėvai: Mykolas Krivickas ir Ona Uogintaitė-Krivickienė.

1914 m. vasario 11 d. buvo pakrikštytas Pasvalio bažnyčioje, krikštatėviai buvo Jeronimas Uogintas ir Ona Astrauskaitė.

Mokėsi Biržų gimnazijoje. 1933–1938 m. studijavo Kauno kunigų seminarijoje ir Vytauto Didžiojo universiteto Teologijos-filosofijos fakulteto Teologijos skyriuje, baigė studijas 12-ojoje laidoje ir įgijo teologinį išsilavinimą.

1938 m. birželio 11 d. Kauno arkikatedroje bazilikoje Kauno arkivyskupas Juozapas Skvireckas įšventino J. Krivicką kunigu. Kartu buvo įšventinti Povilas Ragažinskas, Leopoldas Pratkelis, Vincentas Arlauskas, Mykolas Stonys ir kiti kunigai.

1939–1942 m. J. Krivickas tarnavo Traupio (Anykščių r.) Šv. Onos parapijos vikaru, talkino klebonams Domininkui Tuskeniui ir Jurgiui Šimonėliui.

1939 m. jo iniciatyva Traupyje buvo pradėta prieglaudos namų statyba. 1939 m. gruodį jis surengė Kūčias Traupio varguoliams.

1939–1940 m. jis buvo paskutinis Lietuvių katalikų jaunimo federacijos "Pavasaris" Traupio vyrų kuopos valdybos pirmininkas, kol pirmosios sovietinės okupacijos pradžioje šios organizacijos veikla buvo nutraukta. 1939–1940 m. jis buvo ir Šv. Vincento Pauliečio draugijos Traupio skyriaus iždininkas.

1942 m. J. Krivickas išvyko į Vakarus, 1942–1944 m. studijavo Vienos (Austrija) universitete pedagogiką, vėliau įsikūrė Strasbūre (Prancūzija) ir 1948–1950 m. Strasbūro universitete studijavo filosofiją ir socialinius mokslus. 1945–1955 m. jis buvo Strasbūro lietuvių kapelionas ir Strasbūro Lietuvių Sąjungos pirmininkas. Strasbūre jis globojo ir padėjo siekti dailės studijų būsimąjį dailininką Praną Gailių (1928–2015).

Prancūzijos lietuvių šalpos draugijai 1950 m. spalio 22 d. sušaukus lietuvių suvažiavimą ir išrinkus Laikinąjį organizacinį komitetas lietuvių bendruomenei kurti, J. Krivickas buvo išrinktas šio komiteto pirmininku ir šias pareigas ėjo 1950–1953 m., kol dėl emigracijos komiteto narių neliko ir jis turėjo nutraukti savo veiklą.

1949–1955 m. J. Krivickas buvo akredituotas lietuvių žurnalistas prie Europos Tarybos, nuo 1952 m. – ir pirmasis oficialus lietuvių delegatas Tarptautinėje krikščionių demokratų unijoje.

1955 m. vasarą J. Krivickas emigravo į JAV, kur liko iki gyvenimo pabaigos. 1955 m. jis buvo Putnamo (Konektikuto valstija) lietuvių mergaičių vasaros stovyklos kapelionas padėjėjas, talkinęs kapelionui Stasiui Ylai.

Vėliau 1955–1984 m. jis tarnavo Albanio vyskupijos (Niujorko valstija) parapijose, kol buvo išleistas į pensiją.

Nuo 1985 m. pradžios iki gyvenimo pabaigos J. Krivickas rezidavo Putnamo (Konektikuto valstija) Palaimintojo Jurgio Matulaičio globos namuose.

1985–1987 m. jis buvo JAV lietuvių katalikų leidyklos "Krikščionis gyvenime" administratorius, organizavo šios leidyklos leistų knygų platinimą, buvo leidybinės veiklos mecenatas.

Mirė 1987 m. vasario 9 d. Putname (Konektikuto valstija, JAV). Palaidotas Putnamo Švč. Mergelės Marijos Nekaltojo Prasidėjimo seserų vienuolyno Dangaus Vartų kapinėse.