Tėvai: Tadas Radžius ir Marijona Šarkaitė-Radžienė (1865–1948) – valstiečiai žemdirbiai.

1893 m. vasario 26 d. Švėkšnos bažnyčioje jį pakrikštijo kunigas Juozapas Zinkevičius, krikštatėviais buvo Tadas Lengvinas ir Marijona Butvydaitė.

1912–1917 m. baigė Kauno Žemaičių kunigų seminariją: 1912–1914 m. studijavo Kaune, 1914-1915 m. – Vašuokėnuose (Anykščių r.), 1915–1916 m. – Smolenske (Rusija), kur pasitraukusi Pirmojo pasaulinio karo metais veikė seminarija, nuo 1916 m. ruošėsi savarankiškai.

1917 m. Kauno katedroje Žemaičių vyskupas Pranciškus Karevičius įšventino T. Radžių kunigu.

1917–1918 m. jis buvo pasitraukęs į Rusiją, gyveno Sankt Peterburge. 1918 m. pavasarį jis grįžo į Lietuvą ir birželį buvo paskirtas Kavarsko (Anykščių r.) Šv. Jono Krikštytojo parapijos vikaru, šias pareigas ėjo iki 1920 m. vasario pabaigos. 1918 m. rudenį Kavarske jis įkūrė jaunimo draugiją "Bijūnas" ir buvo šios draugijos pirmininkas. 1919 m. rudenį ši draugija skilo ir iširo, dalis buvusių bijūniečių pasivadino aušrininkais, kiti prisijungė prie pavasarininkų.

Paskirtas 1920 m. pradžioje ir atvykęs 1920 m. kovo 11 d., iki tų metų pabaigos T. Radžius buvo vikaras Troškūnų (Anykščių r.) Švč. Trejybės parapijoje, talkino klebonui Antanui Pauliukui. Jis iškart įsijungė į Troškūnų pavasarininkų veiklą, ją skatindamas, politinėse diskusijose aktyviai pasisakė už krikščionis demokratus.

Perkeltas 1920 m. gruodį, 1920–1921 m. T. Radžius tarnavo vikaru Darbėnuose (Kretingos r.).

Paskirtas 1921 m. rugpjūčio 16 d., 1921–1923 m. jis gyveno Mažeikiuose, kur buvo parapijos vikaras ir vidurinės mokyklos kapelionas, tikybos mokytojas. Mažeikiuose 1922 m. viešėjęs Žemaičių vyskupas Pranciškus Karevičius pareiškė padėką T. Radžiui už katalikiškų draugijų organizavimą. Mažeikiuose jis ėmė globoti apleistą stačiatikių cerkvę – būsimąją Šv. Aloyzo bažnyčią (Gimnazijos bažnytėlę), kuri buvo įrengta ir pradėjo veikti 1927 m.

Paskirtas 1923 m. rugpjūtį, 1923–1926 m. T. Radžius buvo Dotnuvos (Kėdainių r.) vikaras ir Agronomų mokyklos kapelionas. 1926–1928 m. jis tarnavo Šiaulių Šv. Jurgio parapijoje vikaru.

1928 m. T. Radžius buvo paskirtas Karo technikos valdybos karo kapelionu, tačiau nuo tų pareigų netrukus atleistas ir 1928–1931 m. buvo Raseinių parapijos vikaras, talkino klebonui Vincentui Pacevičiui. Raseiniuose jis įkūrė Šv. Juozapo darbininkų draugiją, buvo Moterų draugijos pirmininkas.

1931 m. pabaigoje T. Radžius buvo išsiųstas į lietuvių emigrantų koloniją Urugvajuje, kur 1932–1935 m. teikė dvasinius patarnavimus katalikams Ceros (Cerra) miesto bažnyčioje.

Montevidėjuje 1932 m. pavasarį jis įkūrė Urugvajaus lietuvių dr. Basanavičiaus pradžios mokyklą ir buvo jos direktorius. 1933–1934 m. jis buvo Urugvajaus lietuvių klubo leisto laikraščio "Urugvajaus aidas" redaktorius.

T. Radžius buvo beveik visų Montevidėjuje tuo laiku įsikūrusių lietuvių emigrantų draugijų steigėjas. 1932 m. jis subūrė Montevidėjo lietuvių katalikų bendruomenę, paskui kartu su Agrikultorių sąjunga ir Tautininkų sąjunga įsteigė Urugvajaus lietuvių klubą ir 1932–1933 m. buvo išrinktas jo vicepirmininku, paskui buvo klubo valdybos narys. 1932 m. šiame klube jo iniciatyva buvo atidaryta J. Tumo-Vaižganto vardo biblioteka su skaitykla. 1933 m. pabaigoje jis pertvarkė Lietuvių katalikų bendruomenę į Urugvajaus lietuvių Šv. Juozapo draugiją.

Dėl nesutarimų su Lietuvos pasiuntinybe 1933 m. birželį–rugpjūtį T. Radžius buvo išvykęs į Buenos Aires (Argentina), kur pavadavo sergantį lietuvių kunigą, teikdamas dvasinius patarnavimus emigrantams Argentinoje. 1934 m. rudenį jis dalyvavo Tarptautiniame eucharistiniame kongrese Buenos Airėse, atstovaudamas Urugvajaus katalikams.

Lietuvos vyriausybei nutraukus šios misijos išlaikymą, 1935 m. vasarą T. Radžius iš Pietų Amerikos grįžo į Lietuvą. Jis buvo paskirtas Radviliškio parapijos vikaru ir apgyvendintas prie Šniūraičių viešosios koplyčios (dabar – Kurų Šv. Antano Paduviečio bažnyčia), 1935–1938 m. buvo šios koplyčios administratorius.

1938–1958 m. T. Radžius buvo Žeimelio (Pakruojo r.) Šv. Petro ir Povilo parapijos administratorius. Tarnaudamas Žeimelyje, Antrojo pasaulinio karo metais jis padėjo parapijiečiams gelbėti žydus, yra vienas iš 159 Lietuvos kunigų, žinomų kaip žydų gelbėtojai.

T. Radžius bendradarbiavo Rusijos lietuvių, Nepriklausomos Lietuvos ir Urugvajaus lietuvių spaudoje, pasirašydamas Suveinio, T. Suveinio ir kitais slapyvardžiais. Jis išvertė į lietuvių kalbą Jeano Guiberto knygelę "Gyvybės atsiradimas ant žemės" (1926 m.).

Mirė 1958 m. Žeimelyje (Pakruojo r.). Palaidotas Žeimelio bažnyčios šventoriuje. Kapą ženklina pilko šlifuoto akmens paminklas-stela su iškaltu kryžiumi ir portretine nuotrauka, postamente iškalti įrašai: "Kunigas / Tadas Radžius / 1893–1958" ir "Marijona / Radžienė / 1865–1948".