Tėvai: Jonas Stundžia (1904–1978) – pedagogas pradinių klasių mokytojas ir Sofija Petraitytė-Stundžienė (1911–1990). Brolis Jonas Rimvydas Stundžia (1932–2008) – mokslininkas chemikas, chemijos pedagogas, sesuo Regina Stundžaitė-Petrauskienė (1940–2022). Giminaičiai: teta (motinos sesuo) Ona Petraitytė-Kasparavičienė (1922–2013) – vaistininkė, (motinos dėdė) Mykolas Bugenis (1888–1980) – kunigas ir politinis kalinys.

1952 m. baigė Anykščių vidurinę mokyklą 9-ojoje jos abiturientų laidoje. 1952–1956 m. studijavo Vilniaus pedagoginio instituto Gamtos ir geografijos fakultete, įgijo geografijos mokytojo išsilavinimą.

1956–1959 m. A. Stundžia dirbo Lukšių (Šakių r.) vidurinėje mokykloje geografijos mokytoju.

Nuo 1959 m. iki gyvenimo pabaigos jis gyveno ir dirbo Taujėnuose (Ukmergės r.).

1959–1979 m. jis dirbo Taujėnų vidurinėje mokykloje geografijos mokytoju, apie 1960–1962 m. buvo mokslo dalies vedėjas, vėliau kiek laiko – mokyklos direktoriaus pavaduotojas užklasinio ir užmokyklinio darbo organizatorius. Atsisakęs tapti komunistu, dėl netinkamų politinių pažiūrų 1979 m. jis buvo nušalintas nuo pedagoginės veiklos.

Pasitraukęs iš mokyklos, A. Stundžia 1979–1992 m. dirbo Taujėnų sodininkystės tarybiniame ūkyje bitininku.

Nepriklausomoje Lietuvoje sulaukęs pasiūlymo grįžti dirbti į mokyklą, ruošėsi atnaujinti pedagoginę veiklą, bet nebespėjo.

Amžininkų prisiminimuose išliko kaip draugiškas, apsišvietęs, pagarbiai reiklus mokytojas.

Laisvalaikiu mėgo keliauti, pasakoti apie savo keliones.

Buvo vedęs, žmona Valerija Keraitytė-Stundžienė (1934–2023). Vaikai: Vaida Stundžaitė-Prušinskienė (g. 1960 m.) ir Sigitas Stundžia (g. 1965 m.).

Mirė 1992 m. kovo 29 d. Taujėnuose (Ukmergės r.). Palaidotas Taujėnų (Užupušių, Ukmergės r.) kapinėse. Kapą ženklina masyvus rausvo šlifuoto akmens kryžius su iškaltu įrašu: "Apolinaras / Stundžia / 1934–1992".

A. Stundžios gyvenimas ir veikla pristatoma kraštotyros monografijoje "Taujėnų, Užugirio, Balelių, Laviškio, Paąžuolių, Šalnų, Radžiūnų, Mažeikių mokyklų istorija" (sudarytojai Gražina Nefaitė-Akelaitienė, Birutė Nefaitė ir Saulius Nefas, 2019 m.).