Tėvai: Jonas Skardžius (1878–?) ir Kazimiera Guobytė-Skardžiuvienė (apie 1888 – ?) iš Varkujų – žemdirbiai pasiturintys ūkininkai. Buvo vyriausias vaikas gausioje šeimoje. Sesuo Eugenija Skardžiūtė-Namejūnienė.

Baigė Vyžuonų (Utenos r.) pradžios mokyklą, 1933 m. – Utenos "Saulės" gimnaziją.

1934 m. gegužės 1 d. P. Skardžius buvo mobilizuotas į Lietuvos kariuomenę, pradėjo tarnybą 1-ajame pėstininkų Didžiojo Lietuvos kunigaikščio Gedimino pulke. Išlaikęs patikrinamuosius egzaminus, 1934 m. rugpjūčio 22 d. jis pradėjo studijas Pirmojo Lietuvos Prezidento karo mokykloje Kaune ir jas baigė 1936 m. rugsėjo 15 d. 18-ojoje laidoje, gavo pėstininkų jaunesniojo leitenanto karinį laipsnį.

1936–1939 m. P. Skardžius tarnavo Kauno komendantūroje Karo policijos mokyklos būrio vadu. 1938 ir 1939 m. vasaromis jis buvo skiriamas vadovauti Lietuvos Respublikos Prezidento Antano Smetonos vasaros rezidencijos Užugirio kaime (Ukmergės r.) apsaugai, organizavo apsaugą su 32 kareivių komanda, buvo tapęs Prezidento asmens sargybiniu.

1939 m. spalio 19 d. jam buvo suteiktas leitenanto karinis laipsnis.

Jis studijavo Vytauto Didžiojo universiteto Teisių fakulteto Teisių skyriuje.

1939 m. gruodžio 11 d. P. Skardžius buvo perkeltas tęsti tarnybą į Kariuomenės teismą, paskirtas teismo aspirantu.

Pirmosios sovietinės okupacijos laikotarpiu 1940–1941 m. P. Skardžius buvo pasitraukęs į Vokietiją. 1940 m. rugpjūčio 12 d. jis buvo atleistas iš kariuomenės kaip pabėgęs iš karo tarnybos. 1941 m. liepą grįžęs į Lietuvą, jis gyveno Vilniuje ir 1941–1944 m. dirbo Administracinėje kontrolėje kontrolieriumi, atsisakęs grįžti į karinę tarnybą.

1944 m. P. Skardžius su šeima, padedant A. Smetonos žmonai Sofijai Smetonienei, pasitraukė į Vakarus, 1944–1949 m. gyveno Vokietijoje, nuo 1949 m. iki gyvenimo pabaigos – JAV, kur buvo žinomas kaip Paul Skardis.

Įsikūręs Klivlande (Cleveland, Ohajo valstija), P. Skardžius aktyviai dalyvavo lietuvių išeivių organizacijų veikloje, buvo ateitininkas, bendradarbiavo laikraščiuose "Dirva" ir "Draugas", 1979 m. paskelbė prisiminimus "Kristalinė vaza" apie tarnybą A. Smetonos apsaugoje.

Senatvėje 1991 m. jis su šeima viešėjo Lietuvoje, aplankė gimtąjį Varkujų kaimą ir artimuosius.

Buvo vedęs, žmona Ona Zėlė Zamalytė-Skardžiuvienė-Skardis (1921–2011). Vaikai: Ina Skardžiūtė-Kozel (g. 1944 m.) – dailininkė tekstilininkė, drabužių dizainerė, gyvena Niujorke (JAV) ir Jonas P. Skardis (g. 1950 m.) – gydytojas, gyvena Santa Fe (Naujosios Meksikos valstija, JAV).

Mirė 1992 m. lapkričio 6 d. Klivlande (Ohajo valstija, JAV). Palaidotas Klivlando priemiesčio Čardono (Chardon) Visų sielų (All Souls) kapinėse.

P. Skardžiaus gyvenimas ir veikla pristatyti kraštotyros monografijoje "Vyžuonos : kraštas ir žmonės" (sudarė Algirdas Vyžintas, 2006 m.). Jo biografija pateikta enciklopedinio žinyno "Lietuvos kariuomenės karininkai : 1918–1953" 7-ajame tome (2007 m.).

Istorikė dr. Ingrida Jakubavičienė parengė ir išleido knygą "Prezidento sargyboje. Leitenanto Povilo Skardžiaus istorija" (2017 m.), kurioje pateikė prezidento Antano Smetonos apsaugos karininko leitenanto P. Skardžiaus atsiminimus ir Skardžių šeimos nuotraukas bei prezidento žmonos Sofijos Smetonienės laiškus.