Gimimo data kitų šaltinių duomenimis – 1887 m. balandžio 27 d.

Mokėsi Grinkiškio (Radviliškio r.) pradžios mokykloje, Raseinių progimnazijoje ir Šiaulių gimnazijoje. 1906–1911 m. studijavo Kauno Žemaičių kunigų seminarijoje. 1910 m. lapkričio 28 d. buvo įšventintas diakonu.

1911 m. birželio 5 d. Kauno arkikatedroje Žemaičių vyskupas Gasparas Cirtautas įšventino A. Tvarijanavičių kunigu. Kartu šventimus gavo Stanislovas Butrimas, Mykolas Jusys, Konstantinas Kazakevičius, Jonas Šinkūnas, Dominykas Dundulis ir kiti kunigai.

1911 m. vasarą ir rudenį kelis mėnesius A. Tvarijanavičius tarnavo vikaru Viešintose (Anykščių r.), talkindamas klebonui Juozapui Korsakui, ir Svėdasuose (Anykščių r.), kur talkino klebonui Kazimierui Kazlauskui. Paskui 1911–1912 m. jis buvo Alantos (Molėtų r.) vikaras, nuo 1912 m. pradžios iki vasaros – Skiemonių (Anykščių r.) liaudies mokyklos tikybos mokytojas.

1912 m. vieną mėnesį jis tarnavo Pabaisko (Ukmergės r.) parapijoje vikaru. Perkeltas 1912 m. rudenį, 1912–1914 m. jis tarnavo vikaru Ylakiuose (Skuodo r.), paskui nuo 1914 m. Pirmojo pasaulinio karo pradžioje buvo Krekenavos (Panevėžio r.) vikaras, ten vėl talkino klebonui Kazimierui Kazlauskui. Krekenavoje A. Tvarijanavičius susipažino ir vėliau artimai bendravo su poetu Jonu Mačiuliu-Maironiu.

Karo pabaigoje iki 1918 m. A. Tvarijanavičius buvo Pabiržės (Biržų r.) parapijos vikaras, 1918 m. pavasarį kelis mėnesius tarnavo vikaru Krinčine (Pasvalio r.).

1918–1923 m. jis buvo Upytės (Panevėžio r.) Šv. Karolio Baromiejaus bažnyčios kuratas, kunigas filialistas, 1923–1924 m. tarnavo Kuršėnų (Šiaulių r.) Šv. Jono Krikštytojo parapijos klebonu, 1924–1928 m. buvo Labūnavos (Kėdainių r.) Dievo Apvaizdos parapijos klebonas.

1928–1933 m. A. Tvarijanavičius buvo Kurklių (Anykščių r.) Šv. Jurgio parapijos klebonas. Kurkliuose jis pasižymėjo kaip darbštus ir ūkiškas dvasininkas, nugriovęs senus ir pastatęs naujus parapijos ūkio pastatus, stovėjusius ir tarnavusius iki 1973 m.

Nuo 1933 m. jis buvo paskirtas Surviliškio (Kėdainių r.) Nukryžiuotojo Jėzaus parapijos klebono padėjėju, paskui iki 1946 m. buvo šios parapijos klebonas.

1946–1951 m. jis buvo Josvainių (Kėdainių r.) Visų Šventųjų parapijos klebonas ir Kėdainių dekanas. Kaip Kėdainių dekanas 1949 m. pavasarį jis perėmė Lančiūnavos bažnyčią, kurioje sovietų valdžia  buvo uždraudusi nuolat reziduoti vietiniam kunigui.

Mirė 1951 m. Josvainiuose (Kėdainių r.). Palaidotas Josvainių bažnyčios šventoriuje. Kapas aptvertas aukšta metaline tvorele, jį ženklina puošnus akmeninis paminklas-kryžius su įrašais: "A. A. / Kun. Antanas / Tvarijonavičius / Josvainių klebonas / Kėdainių dekanas / Gim. 1887.IV.27 Mir. 1951.V.2 / Amžiną atilsį" ir "Aš Tavimi, Viešpatie, pasitikėjau, / Tu esi mano Dievas ir mano likimas / Tavo rankose. Ps. 30, 15".