Gimimo data nustatyta pagal krikšto metrikų įrašą. Asmens dokumentuose JAV buvo naudojama gimimo data 1897 m. vasario 6 d.

Tėvai: Antanas Pilkauskas (1866–1917) ir Anastazija Baltuškaitė-Pilkauskienė (1866–?) iš Šeimyniškių – žemdirbiai. Augo septynių vaikų šeimoje, buvo vyriausias tarp užaugusių. Broliai ir seserys: Kazimieras Pilkauskas (1893–1894) – mirė kūdikystėje, dvyniai Jonas Pilkauskas (1895–1896) – mirė kūdikystėje ir Ona Pilkauskaitė (1895–1896) – mirė vaikystėje, Antanas Pilkauskas (1899–1941) – žemdirbys, Karolina Pilkauskaitė-Labonienė (1901–1992) – žemdirbė, tremtinė, Juozapas Pilkauskas (1903–1967) – žemdirbys, Kazimieras Pilkauskas (1907–1907) – mirė kūdikystėje, Povilas Pilkauskas (1909–1999) žemdirbys, statybininkas, ir Emilija Pilkauskaitė-Matuliauskienė (1911–1976) – žemdirbė. Giminaitis (motinos pusbrolis) Justinas Baltuška (1871–1947) – revoliucionierius, visuomenininkas.

1897 m. sausio 21 d. Debeikių bažnyčioje jį pakrikštijo vikaras Viktoras Višinskis, krikštatėviais buvo Justinas Baltuška ir Veronika Gogelytė.

Tėvui, aktyviam 1905–1907 m. tautinio judėjimo dalyviui, slapstantis nuo carinės valdžios persekiojimo, J. Pilkauskas globojo jaunesnius brolius ir seseris, savarankiškai mokėsi skaityti ir rašyti.

1912 m. jis išvyko į JAV ir liko iki gyvenimo pabaigos, buvo žinomas Pilkos pavarde. Iš pradžių jis gyveno Su Sityje (Sioux City, Ajovos valstija), vėliau Rokforde (Rockford, Ilinojaus valstija), Kanzas Sityje (Kansas City, Misūrio valstija), o nuo 1922 m. – Detroite (Mičigano valstija).

Nuo 1922 m. J. Pilka dirbo "Ford" fabrikuose Detroite.

Jis dalyvavo šalpos, kultūrinėse ir politinėse lietuvių emigrantų organizacijose, vaidino scenos mėgėjų spektakliuose, 1925–1930 m. dainavo chore "Ateitis", 1928–1941 m. – chore "Dailė".

Nuo 1934 m. J. Pilka buvo Lietuvos socialdemokratų sąjungos narys, 116-osios kuopos valdybos narys, pirmininkas. 1944–1956 m. jis buvo Detroito lietuvių organizacijų centro iždininkas. 

Nuo 1945 m. J. Pilka taip pat buvo BALF (Bendrojo Amerikos lietuvių šalpos fondo) 76-ojo skyriaus narys, iždininkas.

Jis taip pat dalyvavo Hamtramko (Hamtramck, Mičigano valstija) ir Detroito lietuvių JAV piliečių klubų, "Žiburėlio" draugijos veikloje.

Vedė 1943 m. rugsėjo 8 d. Vude (Wood, Ohajo valstija, JAV), žmona Stefanija Vaitilaitė-Dermeitienė-Pilka (1891–1973) iš Kretingos – emigrantė JAV. Vaikų nesulaukė.

Mirė 1959 m. lapkričio 24 d. Detroite (Mičigano valstija, JAV). Ten ir palaidotas.