Tėvai: Antanas Pilkauskas (apie 1866 – ?) ir Anastazija Baltuškaitė-Pilkauskienė (apie 1869 – ?) iš Šeimyniškių – žemdirbiai. Augo septynių vaikų šeimoje, buvo vyriausias tarp užaugusių. Broliai ir seserys: Kazimieras Pilkauskas (1893–?) – mirė vaikystėje, Jonas Pilkauskas (1895–?) – mirė vaikystėje, Antanas Pilkauskas (1900–1941) – žemdirbys, Juozas Pilkauskas (1903–1967) – žemdirbys, Povilas Pilkauskas (1909–1999) žemdirbys, statybininkas, Karolina Pilkauskaitė-Labonienė (1901–1992) – žemdirbė, tremtinė, ir Emilija Pilkauskaitė-Matuliauskienė (1911–1976) – žemdirbė. 

Tėvui, aktyviam 1905–1907 m. tautinio judėjimo dalyviui, slapstantis nuo carinės valdžios persekiojimo, J. Pilkauskas globojo jaunesnius brolius ir seseris, savarankiškai mokėsi skaityti ir rašyti.

1912 m. jis išvyko į JAV ir liko iki gyvenimo pabaigos, buvo žinomas Pilkos pavarde. Iš pradžių jis gyveno Sju Sityje (Sioux City, Ajovos valstija), vėliau Rokforde (Rockford, Ilinojaus valstija), Kanzas Sityje (Kansas City, Misūrio valstija), o nuo 1922 m. – Detroite (Mičigano valstija).

Nuo 1922 m. J. Pilka dirbo "Ford" fabrikuose Detroite.

Jis dalyvavo šalpos, kultūrinėse ir politinėse lietuvių emigrantų organizacijose, vaidino scenos mėgėjų spektakliuose, 1925–1930 m. dainavo chore "Ateitis", 1928–1941 m. – chore "Dailė".

Nuo 1934 m. J. Pilka buvo Lietuvos socialdemokratų sąjungos narys, 116-osios kuopos valdybos narys, pirmininkas. 1944–1956 m. jis buvo Detroito lietuvių organizacijų centro iždininkas. 

Nuo 1945 m. J. Pilka taip pat buvo BALF (Bendrojo Amerikos lietuvių šalpos fondo) 76-ojo skyriaus narys, iždininkas.

Jis taip pat dalyvavo Hamtramko (Hamtramck, Mičigano valstija) ir Detroito lietuvių JAV piliečių klubų, "Žiburėlio" draugijos veikloje.

Vedė 1943 m. rugsėjo 8 d. Vude (Wood, Ohajo valstija, JAV), žmona Stefanija Vaitilaitė-Dermeitienė (1891–?) iš Kretingos – emigrantė JAV. Vaikų nesulaukė.

Mirė 1959 m. lapkričio 24 d. Detroite (Mičigano valstija, JAV). Ten ir palaidotas.