Tėvai: Jonas Gražys (1873–1957) iš Mičionių ir Julija Petronytė-Gražienė (1893–1984) – žemdirbiai ūkininkai. Augo gausioje 7 vaikų šeimoje, broliai ir seserys: Povilas Gražys (1914–1971) – medikas, Ona Gražytė-Kryžanauskienė (1916–2004) – mokytoja, pedagogo Antano Kryžanausko žmona, Jonas Gražys (1921–1978) – mokslininkas inžinierius hidromelioratorius, Julijona Gražytė-Juodelienė (1924–1990) – žemdirbė, Alfonsas Gražys (1923–1992) – kunigas ir kraštotyrininkas, Elena Gražytė-? (1928–?) – ekonomistė. Dar trys šios šeimos vaikai mirė maži: Pranciškus Gražys (1912–1916), Sofija Gražytė (1918–1918) – trijų mėnesių ir Juozapas Gražys (1920–1920) – kūdikystėje. Giminaitis (antrosios eilės pusbrolis, motinos pusbrolio sūnus) Jonas Juodelis (1928–2017) – visuomenininkas.

1936–1939 m. mokėsi Elmiškio pradžios mokykloje, 1938 m. perkeltoje į Kiaušus, baigė 3 skyrius, kol mokykla buvo uždaryta. Ketvirtąjį skyrių 1939–1940 m. baigė Anykščių Šv. Kryžiaus vienuolyno pradžios mokykloje. 1940–1941 m. mokėsi Anykščių progimnazijoje, 1941 m. ruošėsi toliau mokytis Panevėžio amatų mokykloje, bet prasidėjus karui liko toliau mokytis Anykščiuose, 1941–1943 m. baigė progimnaziją, 1943 m. trumpai mokėsi Vilniaus technikos mokykloje, kol ji buvo uždaryta, grįžęs į Anykščius 1943–1945 m. baigė 7 Anykščių gimnazijos klases. Mokydamasis jis nuolat domėjosi muzika, išmoko groti įvairiais instrumentais, dainuodavo.

Grįžęs į Lietuvą, 1953–1954 m. A. Gražys dirbo Troškūnų (Anykščių r.) vidurinėje mokykloje muzikos, piešimo ir braižybos mokytoju, buvo choro vadovas, kol dėl ligos iš mokyklos buvo atleistas, gydėsi atsinaujinusią tuberkuliozę.

Neturėdamas pragyvenimo šaltinio, A. Gražys apsigyveno pas brolį kunigą Alfonsą Gražį Sudeikiuose (Utenos r.) ir 1954–1959 m. ten dirbo vargonininku, savarankiškai gilino muzikines žinias ir įgūdžius, mokė groti ir vietinius vaikus. Nebesutardamas su broliu, 1958 m. jis išsikėlė vargonininku į Spitrėnus (Utenos r.) ir ten dirbo 1958–1960 m. A. Gražys suremontavo senus bažnyčios vargonus, tvarkė ir kitą bažnyčios įrangą. Spitrėnuose A. Gražys subūrė didelį jaunimo chorą, atlikdavo sudėtingus chorinius kūrinius. Dėl ligos kiek laiko negalėjęs dirbti, jis buvo atleistas ir turėjo ieškoti kitos parapijos.

1960–1962 m. jis buvo vargonininkas Kuktiškėse (Utenos r.), kol peršalęs susirgo ir nebegalėjo toliau dirbti. 1962–1968 m. A. Gražys gyveno pas gimines ir gydėsi. Pasveikęs 1968–1972 m. jis dirbo vargonininku Aleksandravėlėje (Rokiškio r.) pas brolį Alfonsą Gražį, kol ten paruošė kitą jauną vargonininką. 1973–1977 m. jis buvo vargonininkas Debeikiuose (Anykščių r.), kur buvo perkeltas jo brolis, paskui 1977–1984 m. vargonininkavo Tauragnuose (Utenos r.), kol dėl silpstančios sveikatos tokio darbo atsisakė. 1981 m. jis sumontavo ir suderino naujus Tauragnų bažnyčios vargonus.

Nuo 1994 m. iki gyvenimo pabaigos A. Gražys gyveno Debeikiuose.

A. Gražys paskutiniais gyvenimo dešimtmečiais parašė išsamią ir beletrizuotą savo giminės istoriją (liko rankraščiuose, saugomi A. Baranausko ir A. Vienuolio-Žukausko memorialiniame muziejuje).

Vedė apie 1973 m., žmona Veronika Steponavičiūtė-Gražienė – darbininkė.

Mirė 2004 m. balandžio 18 d. Debeikiuose (Anykščių r.).