Tėvai: Antanas Balčiūnas (1901–1985) ir Anelė Andrikonytė-Balčiūnienė (1901 – iki 1985). Augo šešių vaikų šeimoje. Brolis ir seserys: Veronika Balčiūnaitė-Dilienė (1922–2002), Antanas Balčiūnas (1926–1960), Teklė Balčiūnaitė (1928–1946), Julijona Balčiūnaitė (1930–1946) ir Ona Balčiūnaitė (1942–1946) – mirė vaikystėje.

Mokėsi Šiaulių (Anykščių r.) pradžios mokykloje, 1954 m. baigė Anykščių Jono Biliūno vidurinę mokyklą. 1956 m. įstojo į Kauno tarpdiecezinę kunigų seminariją. Sovietų valdžios trukdomas, negalėjo nuosekliai tęsti mokslų, todėl dirbo įvairiose vietose, o seminariją baigė tik 1968 m.

1968 m. gegužės 22 d. J. Balčiūnas buvo įšventintas kunigu.

Paskirtas 1968 m. liepos 14 d., 1968–1976 m. jis buvo vikaras Panevėžyje. Perkeltas 1976 m. gegužės  6 d., 1976–1977 m. jis tarnavo vikaru Kupiškyje, talkindamas klebonui Klemensui Gutauskui.

Paskirtas 1977 m. gegužės 27 d., 1977–1984 m. J. Balčiūnas buvo Nemunėlio Radviliškio (Biržų r.) Švč. Mergelės Marijos parapijos klebonas. Perkeltas 1984 m. gegužės 11 d., 1984–1990 m. jis tarnavo Šilų (Panevėžio r.) Šv. Jėzaus Vardo parapijos administratoriumi.

Nuo 1990 m. spalio 3 d. iki gyvenimo pabaigos J. Balčiūnas buvo Panevėžio Šv. apaštalų Petro ir Povilo bažnyčios altarista-vikaras.

Mirė 2002 m. gegužės 28 d. Panevėžyje. Palaidotas Panevėžio Kristaus Karaliaus katedros kapinėse prie kitų kunigų (60 kvartalas, 11 eilė, 3 kapas). Kapavietę dengia tamsaus šlifuoto akmens plokštė su iškaltu įrašu: "A+A / Kunigas / Juozas Balčiūnas / 1934–1968–2002 / Pašauktas dalintis Jėzaus likimu / nešti savo kryžių, gerti Jo taurę / ir gauti Jo karalystę".