Gimimo data nustatyta pagal giminės liudijimus. Kitur minimas kaip gimęs 1847 m. birželio 10 d.

Tėvai: Ciprijonas  Vincentas Povilas Pavilonis (1814–1890) ir Teodora Gražytė-Pavilonienė (apie 1814 – 1903). Broliai ir seserys: Vincentas Pavilonis (1836–1893), Juozapas Pavilonis (apie 1837 – ?), Anelė Pavilonytė (1843–1931), Julijona Pavilonytė (1855–?), Karolina Pavilonytė-Rukšienė (1860–1940) ir Petronėlė Pavilonytė (1860–1861) – mirė vaikystėje.

Giminaičiai: pusbrolis (motinos brolio sūnus) Juozapas Gražys (1870–1948) – kunigas prelatas, sūnėnas (brolio Vincento sūnus) Stanislovas Pavilonis (1882–1926) – kunigas, pusbrolis (tėvo sesers sūnus) Vincentas Puodžiūnas (1846–1919) – matininkas, antrosios eilės pusbrolis (senelio Mykolo Pavilonio brolio Baltramiejaus anūkas) Antanas Baranauskas (1835–1902) – poetas ir vyskupas.

Apie 1857–1864 m. mokėsi Anykščių pradžios mokykloje, apie 1864–1870 m. – Mintaujos (dabar – Jelgava, Latvija) gimnazijoje, kur baigė 5 klases. 1870–1874 m. studijavo Kauno Žemaičių kunigų seminarijoje pirmojoje jos klierikų laidoje, atnaujinus priėmimą po seminarijos perkėlimo į Kauną, jo moralinės teologijos ir homiletikos dėstytojas buvo Antanas Baranauskas. 1874–1878 m. tęsė teologijos studijas Sankt Peterburgo (Rusija) dvasinėje akademijoje, parengė ir 1879 m. apsigynė disertacijas: rusų kalba – apie čekų nacionalinį didvyrį Janą Husą (1369–1415) ir lotynų kalba – apie Šv. apaštalą Jokūbą, įgijo teologijos magistro mokslinį laipsnį.

1879 m. vasarą A. Pavilonis buvo įšventintas kunigu.

1879–1895 m. A. Pavilonis dėstė Kauno Žemaičių kunigų seminarijoje, buvo lietuvių kalbos ir retorikos profesorius, dėstė pamokslų teoriją. Dirbdamas seminarijoje, jis artimai susidraugavo su kunigu knygnešiu Kazimieru Pakalniškiu (1866–1933) ir kitais draudžiamos lietuviškos spaudos platintojais, rėmė pinigais lietuvišką leidybą, slapta rašė publikacijas. 1904 m. panaikinus lietuviškos spaudos draudimą, jis aktyviai bendradarbiavo ir kitoje katalikiškoje spaudoje.

1884 m. jis lydėjo giminaitį Antaną Baranauską į Sankt Peterburge vykusias jo įšventinimo pavyskupiu apeigas.

1895–1911 m. jis buvo Kauno Šv. apaštalų Petro ir Povilo katedros viceprepozitas (klebono pavaduotojas) – pirmasis dvasininkas, paskirtas tarnauti šioje šventovėje po to, kai popiežius Leonas XIII 1895 m. suteikė jai katedros statusą. A. Pavilonio rūpesčiu buvo pertvarkyta ir rekonstruota katedra, jai pristatyta Švč. Sakramento koplyčia, išplėsta zakristija.

Popiežius Leonas XIII A. Paviloniui atsiuntė dvi bules dėl atlaidų: 1898 m. sausio 22 d. (leidimas atlikti tam tikras bažnytines apeigas) ir 1899 m. gruodžio 1 d. (leidimas atlikti ypatingas bažnytines apeigas). Šių dokumentų pergamentai saugomi Lietuvos nacionalinės M. Mažvydo bibliotekos pergamentų kolekcijoje.

Jis dalyvaudavo nagrinėjant bažnytines bylas, buvo dvasiškių teismo narys, 1902 m. nagrinėjant Vadaktėlių (Panevėžio r.) kurato kunigo Juozo Tumo bylą, priėmė šiam dvasininkui, dalyvavusiam tautinio atgimimo veikloje, palankų sprendimą. Kaip katedros klebonas 1908 m. pavasarį jis suteikė paskutinį patepimą mirštančiam Žemaičių vyskupui Mečislovui Paliulioniui.

1902 m. A. Pavilonis buvo paskirtas Žemaičių vyskupijos katedros kapitulos kanauninku, prelatu ir kapitulos archidiakonu, vėliau apie 1909 m. buvo prelatas kustodas. Kaip Žemaičių vyskupijos atstovas prelatas 1906 m. spalio 22 d. jis pašventino baigtą statyti Viešintų (Anykščių r.) Šv. Mykolo arkangelo bažnyčią, 1909 m. lapkričio 1 d. surengė pirmas pamaldas baigtoje statyti Anykščių Šv. apaštalo evangelisto Mato bažnyčioje.

1911 m. A. Pavilonis dėl nusilpusios sveikatos pasitraukė iš pareigų Kaune ir apsigyveno Anykščiuose, įsikūrė klebonijoje ir talkino pastoracijoje Anykščių Šv. Mato bažnyčioje. 1914 m. pradžioje jis buvo paskirtas Joniškio parapijos garbės klebonu, bet dėl sveikatos į Joniškį neišvyko. Jau prasidėjus Pirmajam pasauliniam karui, jo iniciatyva 1914 m. gruodžio 8 d. Žemaičių vyskupas Pranciškus Karevičius konsekravo baigiamą įrengti naująją Anykščių bažnyčią.

1915 m. jis trumpai buvo Suginčių (Molėtų r.) parapijos klebonas, o 1915–1918 m., iki gyvenimo pabaigos, – Joniškio Švč. Mergelės Marijos Ėmimo į dangų parapijos garbės klebonas prie administratoriaus Aleksandro Bublio. 

A. Pavilonis parengė ir Rymo Žemaičio slapyvardžiu išleido poleminę brošiūrą "Kalba dviejų žmogų Kazimiero ir Antano apie Katalikų Bažnyczios pamatą" (1891 m., kitas leidimas – 1894 m.). Jis bendradarbiavo laikraščiuose "Wienybė Lietuwninku" (nuo 1886 m.), "Žemaičių ir Lietuvos apžvalga" (1891–1896 m.), "Lietuvos apžvalga" (nuo 1901 m.), publikacijas pasirašinėjo Žemaičio, Rymo Žemaičio, Kunigo ir kitais slapyvardžiais. Daug jo straipsnių, literatūrinių bandymų ir pamokslų išliko rankraščiuose, išbarstytuose po įvairius archyvus.

A. Pavilonis sukaupė apie 500 knygų asmeninę biblioteką, kurią po jo mirties perėmė sūnėnas kunigas Stanislovas Pavilonis. Šioje bibliotekoje buvo saugomas po A. Baranausko mirties A. Paviloniui perduotas Šventojo Rašto Senojo testamento vertimas.

Mirė 1918 m. lapkričio 24 d. Joniškyje. Palaidotas Joniškio bažnyčios šventoriuje šalia kitų kunigų. Kapą ženklina rausvo akmens paminklas-kryžius su postamente iškaltais įrašais: "A+A / Prelatas Antanas / Pavilanis / Žem. Vysk. Kapitulos / Arkidiakonas / Šios parapijos klebonas / gimęs 1844 m. V.13 / mirė 1918 m. XI.24." ir "Requiescat in pace".

A. Pavilonio (Povilonio) gyvenimas ir veikla pristatomi Benjamino Kaluškevičiaus ir Kazio Misiaus žinyne "Lietuvos knygnešiai ir daraktoriai 1864–1904" (2004 m.) ir šio žinyno 2-ojoje knygoje (2014 m.).