Tėvas Jonas Skardžius.

1967 m. baigė studijas Lietuvos žemės ūkio akademijos Miškų ūkio fakultete, įgijo miškininko išsilavinimą.

1967–1969 m. A. Skardžius dirbo Kauno miškų ūkyje girininku.

Nuo 1969 m. jis gyvena ir dirba Širvintų rajone, Širvintėlėse. 1969–1990 m. jis buvo Širvintų miškų ūkio vyresnysis, vyriausiasis miškininkas, kol išėjo į pensiją.

A. Skardžius buvo Lietuvos demokratinės darbo partijos narys, šios partijos kandidatas į Lietuvos Respublikos Seimą (1997 m.).

Vedęs, žmona Liudvika Skardžiuvienė. Vaikai: Rasa ir Aidas.