Tėvai: Baltramiejus Glemža – Viešintų bažnyčios  zakristijonas ir Teodora Marščiauskaitė-Glemžienė. Broliai: Juozapas Glemža – žemdirbys ūkininkas ir Jonas Glemža – žemdirbys ūkininkas.

Augo Rusijoje, baigė Jamburgo (Sankt Peterburgo gubernija, Rusija) pradžios mokyklą. Nuo mažens vargonuoti mokė tėvas ir vargonininkas Leonas Puodžiūnas. Grįžęs į Lietuvą, apie ketverius metus lavinosi pas Juozą Naujalį Kaune.

A. Glemža dirbo vargonininku Muniškaičiuose (Kauno r.), Mažeikiuose ir Čiorna Padinoje (Samaros gubernija, Rusija).

1923 m. jis persikėlė į JAV ir ten liko iki gyvenimo pabaigos. Iš pradžių jis gyveno Springfilde (Springfield, Ilinojaus valstija) ir dirbo vargonininku.

Ten jis buvo paimtas į JAV kariuomenę ir tarnavo daugiau kaip metus. Grįžęs iš kariuomenės, A. Glemža  apsigyveno Indiana Harbore (Indianos valstija) ir iki gyvenimo pabaigos dirbo vargonininku bei chorvedžiu Šv. Pranciškaus lietuvių katalikų parapijoje. Čia jis išugdė chorą, kuris giedojo bažnyčioje ir dalyvavo įvairiuose tautiniuose renginiuose.

A. Glemža pasižymėjo kaip geras vargonininkas ir sumanus chorvedys. Jis buvo Amerikos lietuvių  Vargonininkų sąjungos narys.

Mirė 1940 m. spalio 5 d. Indiana Harbore (Indianos valstija, JAV). Ten ir palaidotas.

A. Glemžos biografija publikuojama Boleslovo Zubricko enciklopediniame žinyne "Pasaulio lietuvių chorvedžiai" (1999 m.).