Tėvai: Dominykas Gruzdys ir ? Gruzdienė – žemdirbiai smulkūs ūkininkai, turėjo 7 ha žemės. Augo keturių vaikų šeimoje, brolis Petras Gruzdys – žemdirbys, dvi seserys.

Nuo 1912 m. dirbo šeimos ūkyje, ganė gyvulius. 1922 m. baigė Raguvos (Panevėžio r.) pradžios ir vidurinę mokyklas. 1922–1924 m. mokėsi Panevėžio mokytojų seminarijoje, baigė du kursus.

1924–1931 m. A. Gruzdys dirbo Levaniškių (Anykščių r.) pradžios mokyklos mokytoju, buvo šios mokyklos vedėjas. Ten dirbant, dėl blogų darbo ir gyvenimo sąlygų pašlijo jo sveikata. 1931–1941 m. jis buvo Traupio (Anykščių r.) pradžios mokyklos mokytojas ir šios mokyklos vedėjas.

Mokytojo šeima taip pat turėjo 30 ha žemės Kirmėliuose (Anykščių r.), kur ūkininkavo.

Nuo 1931 m. A. Gruzdys buvo Lietuvos šaulių sąjungos narys, 1931–1940 m. ėjo Traupio šaulių būrio būrio valdybos pirmininko, sekretoriaus, iždininko pareigas. Jis buvo ir Tautininkų sąjungos Traupio apylinkės pirmininkas, dalyvavo Sąjungos Vilniui vaduoti veikloje.

Laisvalaikiu domėjosi daile, drama, pedagogika, žemės ūkio naujovėmis.

Vedė apie 1936 m., žmona Sofija Riškaitė-Gruzdienė (1914–?) – pedagogė pradinių klasių mokytoja, tremtinė Altajaus krašte. Sūnus Gediminas Gruzdys (g. 1939 m.) – tremtinys Altajaus krašte.

1941 m. birželio 14 d. A. Gruzdys Traupyje buvo suimtas, atskirtas nuo šeimos ir išgabentas į Rešiotų lagerį (Žemutinio Ingašo r., Krasnojarsko kr., Sibiras, Rusija). 1943 m. sausio 13 d. Ypatingasis pasitarimas nuteisė jį dešimčiai metų kalėti. Iš Rešiotų lagerio jis buvo perkeltas į tremtį į Talmenkos rajone (Altajaus kraštas, Sibiras, Rusija), kur tuo metu gyveno ištremta jo šeima.

Mirė (?) (Talmenkos r., Altajaus kr., Rusija).

A. Gruzdžio pedagoginė veikla pristatoma Kazio Račkausko informaciniame leidinyje "Nepriklausomos Lietuvos mokytojai : 1918–1940 metų biografijos" (2018 m.).