Gimimo data nustatyta pagal artimųjų liudijimą. Pagal oficialius dokumentus nurodoma, kad gimęs 1926 m. sausio 2 d.

Tėvai: Juozapas Skaržauskas (1898–1973) – Lietuvos savanoris, žemdirbys ūkininkas, ir Antanina Osauskaitė-Skaržauskienė (1906–1989) – žemdirbė, amatininkė siuvėja. Augo penkių vaikų šeimoje su dviem broliais ir dviem seserimis. Broliai ir seserys: Aleksandra Skaržauskaitė-Zdanavičienė (1928–2023) – pedagogė lietuvių kalbos ir literatūros mokytoja, kraštotyrininkė, Marijonas Skaržauskas (1930–1944) – mirė paauglystėje, Aloyzas Skaržauskas (1933–1966) – kariškis, Zita Skaržauskaitė (1936–2020) – pedagogė pradinių klasių mokytoja.

Buvo pakrikštytas Traupio bažnyčioje, krikštatėvis Julijonas Stankevičius.

1932–1936 m. mokėsi Girelės (Anykščių r.) pradžios mokykloje.

Tėvams persikėlus, 1936–1939 m. J. Skaržauskas augo Vyčiuose (Panevėžio r.), 1939–1942 m. – Klevečkynėje (Panevėžio r.). 1936–1937 m. jis mokėsi Panevėžio pradžios mokykloje, bet 1937 m. pabaigoje, būdamas 6-ajame skyriuje, mokslą paliko ir 1937–1942 m. dirbo tėvų ūkyje pusberniu. 1936–1939 m. jis buvo Velžio jaunųjų ūkininkų ratelio narys.

1942 m. tėvams grįžus į Degsnius, J. Skaržauskas 1942–1944 m. toliau dirbo tėvų ūkyje, kartu buvo Laukagalių seniūnijos dešimtininkas – surašinėjo dešimties sodybų gyvulius. 1944–1945 m. jis slapstėsi nuo karinės tarnybos, bet 1945 m. pavasarį buvo mobilizuotas į sovietinę kariuomenę ir 1945–1947 m. tarnavo kariniame dalinyje Kalugos srityje (Rusija) kulkosvaidininku snaiperiu.

Grįžęs į gimtinę, 1947–1948 m. J. Skaržauskas dirbo tėvų ūkyje, bet prasidėjus kolektyvizacijai pasitraukė iš kaimo ir išvyko į Vilnių. 1948 m. nuo pavasario iki rudens jis baigė Vilniuje pieno pramonės buhalterių pusmetinius kursus ir įgijo vyresniojo buhalterio specialybę.

1948–1949 m. J. Skaržauskas dirbo Pelyšų (Anykščių r.) sviesto gamykloje buhalteriu, 1949–1951 m. buvo Surdegio (Anykščių r.) sviesto gamybos įmonės vyriausiasis buhalteris.

Perkeltas dirbti į Žemaitiją, 1951–1952 m. jis buvo Kelmės sūrių gamybos įmonės vyriausiasis buhalteris, 1952–1953 m. – Viekšnių (Mažeikių r.) pieno įmonės vyriausiasis buhalteris.

1953–1956 m. jis dirbo Pušaloto (Pasvalio r.) pieno įmonės vyriausiuoju buhalteriu, 1956–1964 m. – Ramygalos (Panevėžio r.) pieno įmonės vyriausiuoju buhalteriu.

Dirbdamas Pušalote, J. Skaržauskas eksternu išlaikė septynmetės mokyklos baigimo egzaminus. 1960–1964 m. jis neakivaizdžiai mokėsi Kauno ekonomikos technikume, įgijo buhalterio specialybę.

1964–1965 m. jis dirbo Panevėžio kilnojamosios mechanizuotos kolonos Nr. 4 vyriausiuoju buhalteriu, 1965–1969 m. buvo Panevėžio statybos tresto vyriausiojo buhalterio pavaduotojas. 1969–1988 m. J. Skaržauskas buvo Panevėžio statybos tresto vyriausiasis buhalteris, kol išėjo į pensiją.

1988–1991 m. jis dirbo vartojimo prekių kooperatyve "Guoba" buhalteriu, buvo vienas iš šio kooperatyvo steigėjų, kol to kooperatyvo veikla nutrūko.

Jis buvo Panevėžio statybos tresto liaudies kontrolės narys, 1985–1988 m. – šios įmonės Savanoriškos kovos už blaivybę draugijos pirmininkas.

J. Skaržauskas bendradarbiavo spaudoje: rašė straipsnius Panevėžio statybos tresto laikraščiui "Statybininkas", respublikiniuose leidiniuose. Jis parengė ir išleido Skaržauskų giminės apžvalgą "Gyvenimo metmenys ir ataudai : Skaržauskų giminės genealogija, prisiminimai, pastebėjimai" (su Aleksandra Zdanavičiene, 2006 m.).

Jis buvo apdovanotas žinybinėmis padėkomis, Panevėžio miesto Vykdomojo komiteto ir Statybos ministerijos garbės raštais.

Laisvalaikiu bitininkaudavo, mėgo darbus sode, žaisdavo šachmatais, sprendė kryžiažodžius.

Susituokė 1950 m. kovo 5 d. Troškūnų civilinės metrikacijos skyriuje ir 1950 m. balandžio 25 d. Troškūnų bažnyčioje, santuoką laimino kunigas Kazimieras Žeimys (sutuoktinės brolis), žmona Bronė Žeimytė-Skaržauskienė – tarnautoja. Vaikai: Valentinas Skaržauskas (1951–2018) – mokslininkas inžinierius statybininkas, Aldona Skaržauskaitė-Bačiulienė (g. 1953 m.) – psichologė psichiatrė ir Regimantas Skaržauskas (g. 1962 m.) – ekonomistas, vadybininkas.

Mirė 2012 m. Panevėžyje. Palaidotas Panevėžio Kristaus Karaliaus katedros kapinėse (22 kvartalas, 6 eilė, 5 kapavietė). Kapą ženklina pilko akmens paminklas su iškaltu įrašu: "Skaržauskai / Juozas 1898–1973 / Antanina 1906–1989 / Julius 1925–2012".