Seneliai: Tamošius Gražys ir Uršulė Braknytė-Kemeikienė-Gražienė. Tėvai: Jonas Gražys (1873–1957) iš Mičionių ir Julija Petronytė-Gražienė (1893–1984) – žemdirbiai ūkininkai. Augo gausioje 7 vaikų šeimoje, broliai ir seserys: Povilas Gražys (1914–1971) – medikas, Ona Gražytė-Kryžanauskienė (1916–2004) – mokytoja, pedagogo Antano Kryžanausko žmona, Jonas Gražys (1921–1978) – mokslininkas inžinierius hidromelioratorius, Julijona Gražytė-Juodelienė (1924–1990) – žemdirbė, Antanas Gražys (1927–2004) – muzikantas vargonininkas, Elena Gražytė-? (1928–?) – ekonomistė. Dar trys šios šeimos vaikai mirė maži: Pranciškus Gražys (1912–1916), Sofija Gražytė (1918–1918) – trijų mėnesių ir Juozapas Gražys (1920–1920) – kūdikystėje.

Giminaičiai: (antrosios eilės pusbrolis, motinos pusbrolio sūnus) Jonas Juodelis (1928–2017) – visuomenininkas, (trečiosios eilės dėdė, tėvo antrosios eilės pusbrolis) Antanas Braknys (1883–1972) – kunigas.

1930–1935 m. mokėsi Elmiškio (Anykščių r.) ir Anykščių pradžios mokyklose, kur baigė 5 skyrius, 1935–1943 m. baigė Utenos gimnaziją. 1943–1948 m. studijavo Kauno tarpdiecezinėje kunigų seminarijoje. Studijų metais A. Gražys buvo jaunesniųjų kursų prepozitas, klierikų bendrabučio viršininkas, o baigdamas studijas – ir seminarijos dekanas.

1948 m. balandžio 25 d. vyskupas Kazimieras Paltarokas jį įšventino kunigu.

1948 m. pusę mėnesio A. Gražys buvo vikaras Dusetose (Zarasų r.), 1948–1949 m. pusmetį – Vabalninko (Biržų r.) parapijos vikaras. Ten jis buvo apkaltintas aktyvia veikla su jaunimu, trukdymu jiems stoti į pionierius ir komjaunimą, todėl perkeltas vikaru į Raguvą (Panevėžio r.), kur tarnavo 1949–1950 m. Nesutaręs su Raguvos klebonu Jonu Andriejausku, jis buvo rekomenduotas perkelti į aukštesnes pareigas ir buvo vienas iš pirmųjų Lietuvos dvasininkų, gavęs parapiją anksčiau nei po poros metų nuo seminarijos baigimo.

1950–1959 m. A. Gražys buvo Sudeikių (Utenos r.) Švč. Mergelės Marijos parapijos administratorius. Jis suremontavo apleistą bažnyčią, kartu su jam talkinusiu broliu Antanu papuošė jos fasadą lietuviškais kryžiais.

1959–1973 m. jis tarnavo Aleksandravėlės (Rokiškio r.) Šv. Pranciškaus Serafiškojo parapijos klebonu, sutvarkė parapijos ūkį ir skatino gražiai tvarkyti visą gyvenvietę, įveisė joje parką. Jo iniciatyva bažnyčia buvo elektrifikuota, įrengti nauji suolai tikintiesiems, suremontuota jos išorė.

1959 m. rudenį už tai, kad mokė vaikus tikėjimo tiesų, sovietinės valdžios jis buvo nubaustas dvejiems metams priverstinių fizinių darbų. Atlikdamas šią bausmę, darbo dienomis A. Gražys dirbo Panevėžio durpyne, o sekmadieniais meldėsi Aleksandravėlėje su savo parapijiečiais.

Paskirtas 1973 m. vasario 28 d., 1973–1992 m., iki gyvenimo pabaigos, A. Gražys buvo Debeikių (Anykščių r.) Šv. Jono Krikštytojo parapijos klebonas. Debeikiuose jis ėmėsi iniciatyvos sutvarkyti irstančius šventoriaus vartus, suremontuoti bažnyčios sienas ir stogą, įtvirtinti varpus. Jo rūpesčiu Debeikių bažnyčia iki 1980 m. buvo elektrifikuota, joje įtaisyti sietynai, įrengtas įgarsinimas, surinkti nauji liturginiai rūbai ir kitas inventorius. A. Gražys inicijavo bažnyčioje saugomų meno vertybių restauraciją, jo rūpesčiu buvo atnaujinta daugiau kaip 20 vertingų paveikslų.

A. Gražys rašė ir nelegaliai platino pamokslinio turinio knygeles, skirtas dvasininkams, rašomąja mašinėle išspausdino 4 tomų pamokslų rinkinį. Rankraštyje jis paruošė "Vienos giminės genealogiją", su publicistiniais intarpais papasakodamas Kiaušų ir Gražių giminės istoriją XIX–XX a.

Mirė 1992 m. vasario 24 d. Debeikiuose. Palaidotas Anykščių Šv. Mato bažnyčios šventoriuje. Kapą ženklina bronzinė skulptūra "Jėzus Nazarietis" (autorius – skulptorius Vladas Vildžiūnas). Akmeninėje antkapio plokštėje įrašas: "Kun. Alfonsas Gražys 1923-1992. Ar gyvename ar mirštame esame Dievo (Rom. 14.8)".