Tėvas Andrius Mičiulis. Augo gausioje šeimoje, buvo ketvirtasis tarp septynių vaikų. Broliai: Jonas Mičiulis (1897– po 1955) – 1945–1955 m. tremtinys Vorkutoje (Sibiras, Rusija), Valerijonas Mičiulis – emigrantas, Pijus Mičiulis – emigrantas, sesuo Ona Mičiulytė – pedagogė pradinių klasių mokytoja, emigrantė.

Baigė Marijampolės gimnaziją. Mokykliniais metais buvo aktyvus ateitininkas.  Studijavo Kauno Vytauto Didžiojo universiteto Teologijos-filosofijos fakultete istoriją, 1926 m. įgijo istorijos dėstytojo išsilavinimą.

Studijuodamas J. Mičiulis bendradarbiavo spaudoje, 1923–1925 m. redagavo mėnesinį moksleivių laikraštį "Ateitis", kuriame buvo spausdinami visos Lietuvos gimnazistų literatūriniai bandymai. 1924 m. vasarą jis trumpai redagavo ir iliustruotą lietuvių katalikų jaunimo "Pavasario" sąjungos žurnalą "Pavasaris".

Paskirtas 1925 m. rugpjūčio 1 d., 1925–1930 m. J. Mičiulis dirbo Panevėžio mokytojų seminarijoje istorijos dėstytoju, 1929–1930 m. buvo ir Panevėžio lenkų draugijos "Pochodnia" mokytojų kursų dėstytojas.

1930–1935 m. jis buvo Tauragės komercinės vidurinės mokyklos istorijos mokytojas ir Tauragės mokytojų seminarijos dėstytojas. 1935–1941 m. jis dirbo Marijampolės ir Trakų mokytojų seminarijose istorijos dėstytoju.

Nepriklausomos Lietuvos metais jis aktyviai bendradarbiavo pedagoginėje spaudoje, publikuodamas straipsnius "Lietuvos mokykloje" ir kituose leidiniuose.

J. Mičiulis parašė ir išleido knygas:

1928 m. – "Pedagogika ir didaktika" (metodinis leidinys, antrasis naujai parašytas leidimas – 1933 m.).

1929 m. – "Panevėžio mokytojų seminarija : pieš karą ir dabar : su prof. J. Jablonskio atsiminimais : 10 metų sukaktuvėms paminėti".

1935 m. – "Bažnyčios istorija : vadovėlis gimnazijoms".

1941–1946 m. J. Mičiulis buvo Alytaus mokytojų seminarijos kūrėjas ir pirmasis direktorius. 1941 m. vasarą atvykęs į Dzūkiją, jis bandė įsteigti mokytojų seminariją Druskininkuose, bet miestą atskyrus nuo Lietuvos, persikėlė į Alytų ir ten kūrėsi, įgyvendindamas savo sumanymą, pats remontavo seminarijai skirtas apleistas patalpas ir 1941 m. spalio 21 d. pradėjo pradinių mokyklų mokytojų rengimą. Jis važiuodavo arkliais į Vilniaus kraštą ir gabeno neveikiančių mokyklų inventorių į Alytų, kad būsimieji mokytojai turėtų kur mokytis.

Dirbdamas mokytojų seminarijos vadovu, 1942–1944 m. J. Mičiulis globojo slapta veikusią ateitininkų organizaciją, pargabendavo iš Kauno pogrindžio sąlygomis leistą lietuvišką laikraštį "Į laisvę" ir jį platindavo Alytuje. Jo rūpesčiu seminarijoje buvo įkurta meno mėgėjų organizacija "Meno kuopa".

1946 m. sausio 1 d. J. Mičiulis buvo atleistas Alytaus mokytojų seminarijos vadovo pareigų kaip neįstengiantis dirbti pagal sovietinius reikalavimus.

1946–1948 m. jis gyveno Vilniuje. 1946 m. pradžioje jis trumpai dirbo Lietuvos Mokslų akademijos bibliotekoje, paskui 1946–1947 m. buvo Vilniaus 1-osios darbo jaunimo vakarinės mokyklos mokytojas.

Atsisakęs viešai išpažinti savo "kaltes" ir tarnauti sovietinei valdžiai, perrašyti savo pedagogikos knygas, J. Mičiulis 1947 m. sausio 11 d. buvo suimtas, beveik pusę metų tardytas Vilniuje. Karo tribunolo 1947 m. gegužės 27 d. apkaltintas antisovietine veikla, jis buvo nuteistas 10 metų kalėti sovietiniuose lageriuose ir trejiems metams tremties.

Išgabentas 1947 m. birželio 17 d., 1947–1948 m. jis kalėjo Tikšos lageryje netoli Kočkomos (Karelija, Rusija). Perkeltas 1948 m. birželį, 1948–1953 m. toliau buvo kalinamas Potmos lageryje Mordovijoje (Rusija). Karelijoje jis dirbo miško ruošos darbus, Mordovijoje – radijo futliarų gamykloje darbininku. Po J. Stalino mirties 1953 m. spalio 7 d. jis buvo perkeltas į Sibirą ir 1953–1955 m. kalintas Kamyšlage (Omsko sr., Rusija), kur dirbo energetikos objektų statybose.

Lageriuose jis mokė lietuvių politinių kalinių vaikus, už tai jaunieji katorgininkai jį praminė Amžinuoju Pavasariu. Ekstremaliomis sąlygomis ant popieriaus skiaučių jis parašė Lietuvos istorijos konspektą, kuris tik po daugelio metų buvo išleistas atskira knygele "Lietuvos istorija : ką kiekvienas lietuvis turi žinoti apie savo tautos praeitį" (2001 m.).

1955 m. lapkričio 24 d. paleistas iš lagerio, tų pačių metų pabaigoje J. Mičiulis grįžo iš Sibiro į Lietuvą ir apsigyveno Anykščiuose, vėliau persikėlė ir gyveno Troškūnuose (Anykščių r.). Negavęs leidimo tęsti pedagoginę veiklą, jis dirbo Anykščių mašinų-traktorių stotyje sandėlininku, vėliau statybinėse organizacijose Troškūnuose, Anykščiuose ir Ukmergėje darbininku, kol išėjo į pensiją.

1989 m. jis buvo reabilituotas kaip nepagrįstai patyręs represijas.

Senatvę J. Mičiulis paleido Vilniuje, Tremtinių namuose, kur įsikūrė 1998 m. ir pasiliko iki gyvenimo pabaigos. Ten 2000 m. rugpjūtį jis paminėjo savo 100-mečio sukaktį.

Jis parašė ir paliko prisiminimų apie sovietmečiu patirtas represijas.

Susituokė 1927 m. birželio 21 d. Panevėžio Šv. Stanislovo bažnyčioje, žmona Bronė Buivydaitė-Mičiulienė (1895–1984) – pedagogė, rašytoja. Vaikų nesulaukė. Išsiskyrė 1967 m. spalio 17 d.

Senatvėje vėl vedė, žmona Anelė Misiūnienė-Mičiulienė (1911–2010).

Mirė 2003 m. balandžio 2 d. Vilniuje. Palaidotas Anykščių naujosiose kapinėse. Kapą ženklina dviejų pilko šlifuoto akmens paminklinių stelų kompozicija su akmeniniu kryžiumi centre, jose iškalti įrašai: "Mičiuliai / Juozas 1900–2003 / Anelė 1911–2010" ir "Misiūnai / Juozas 1942–2006 / Stasė 1944–2014".