Gimimo data nustatyta pagal Troškūnų parapijos krikšto metrikus. Kituose šaltiniuose minima klaidinga gimimo data – 1904 m. gruodžio 27 d.

Tėvai: Adomas Gilvydis (1858–1925) iš Žaliosios ir Kristina Vaičiūnaitė-Gilvydienė (1870–?) iš Vaidlonių – valstiečiai žemdirbiai. Broliai ir seserys: Justinas Gilvydis (1893–?) – žemdirbys, Marijona  Gilvydytė-Šimkūnienė (1894–1986), Juozapas Gilvydis (1899–?), Julijona Gilvydytė (1905–1905) – mirė kūdikystėje, Pranciška Gilvydytė-Kučinskienė (1906–1982) – emigrantė Argentinoje ir Augustinas Gilvydis (1908–1989).

Baigė 4 pradžios mokyklos klases. Sulaukęs šaukiamojo amžiaus, tarnavo Lietuvos kariuomenėje. Demobilizuotas toliau mokėsi, baigė Panevėžio gimnaziją. Jaunystėje Troškūnuose (Anykščių r.) subūrė katalikiškos vyrų sąjungos "Jaunoji Lietuva" skyrių ir jam vadovavo. 1928 m. suorganizavo kaimynus ūkininkus, drauge įkūrė pieninę ir jai vadovavo.

1929 m. J. Gilvydis emigravo iš Lietuvos į Pietų Ameriką, apsistojo Argentinoje ir iki gyvenimo pabaigos gyveno Buenos Airėse, kur buvo žinomas kaip Jorge Gilvydis.

Jis dirbo fabrikuose, laisvalaikį skirdamas lietuviškai visuomeninei veiklai, iki senatvės dalyvavo Argentinos lietuvių bendruomenės veikloje.

1930–1934 m. J. Gilvydis buvo Argentinos lietuvių namų, laikraščio "Švyturys" ir knygyno administratorius, 1931 m. atidarė pirmąjį lietuvių muziejų Buenos Airėse, vėliau tapusį Tautinio muziejaus pagrindu.

Nuo 1934 m. savo namuose jis įrengė nedidelę spaustuvę ir organizavo jos veiklą.

1932 m. J. Gilvydis baigė kino technikos kursus ir pirmasis ėmė kurti dokumentinius filmus apie Argentinos, Urugvajaus, Brazilijos lietuvių gyvenimą ir veiklą. 1933 m. jis atidarė Buenos Airėse kino teatrą "Vytis" ir jame rodė savo bei kitų kraštų lietuvių emigrantų ir Lietuvos menininkų sukurtus filmus, kaupė filmoteką, propagavo lietuviškąjį kiną.

J. Gilvydis taip pat buvo vienas pirmųjų lietuvių – kino kronikos kūrėjų, dokumentinio kino operatorius, fiksavęs lietuvių gyvenimą kino juostoje nuo 1930 iki 1978 m.

Per vasaros atostogas 1930–1939 m. jis vykdavo į Lietuvą ir gimtajame krašte filmuodavo kraštovaizdį, miestelius – Birštoną, Rokiškį, mažesnius kaimus, nufilmavo žmones, kurių neužfiksavo kiti to meto kino kūrėjai, fiksavo Lietuvos buitį ir darbus. 1939 m. kino juostoje jis įamžino Vilniaus grąžinimą Lietuvai.

1937–1939 m. J. Gilvydis buvo Vilniui vaduoti sąjungos sekretorius. Šiai sąjungai baigus savo veiklą, nuo 1939 m. jis buvo vienas iš "Vilniaus klubo" steigėjų ir jo pirmininkas.

1940 m. įsteigus Lietuvai Išlaisvinti Centrą, jis kelis dešimtmečius buvo šio Centro vykdomojo komiteto sekretorius. Jo namuose 1959 m. buvo surengtas šio Centro bei kitų organizacijų atstovų susirinkimas, siekiant telkti organizuotai veiklai Pietų Amerikos lietuvius. J. Gilvydis iškėlė Pietų Amerikos lietuvių kongresų (PALK) idėją ir buvo pirmojo PALK organizacinio komiteto sekretorius, kongreso, įvykusio 1960 m. Buenos Airėse, prezidiumo narys, vyriausiasis tvarkytojas. Išplėtojus jo idėjas, tokie kongresai vėliau vyko Argentinoje, Brazilijoje ir Urugvajuje.

1963 m. tautinėje parodoje Buenos Airėse J. Gilvydis organizavo lietuvišką skyrių. Nuo 1963 m. jis ilgą laiką buvo Argentinos lietuvių organizacijų ir spaudos tarybos (ALOST) veiklos organizatorius, Tautos fondo ir Lietuvių namų valdybos narys.

Jis bendradarbiavo laikraščiuose "Argentinos žinios" ir "Dirva" (leistas JAV), buvo Argentinos lietuvių katalikų laikraščio "Laikas" garbės leidėjas.

Laisvalaikiu kaupė plokštelių, pašto ženklų, lietuviškų pinigų ir gintaro dirbinių kolekcijas, jas naudojo bendruomeninėje veikloje.

Vedė 1933 m. Buenos Airėse (Argentina), žmona Danutė Domicelė Šumylaitė-Gilvydienė-de Gilvydis (1902–1982) iš Andrioniškio – siuvėja, siuvimo pedagogė. Liko našlys. Vaikų neturėjo.

Mirė 1985 m. liepos 8 d. Buenos Airėse (Argentina). Palaidotas Buenos Airių Lanus kapinėse privačiame šeimos panteone "Vytis".

J. Gilvydžio sukauptą filmų fondą po jo mirties paveldėjo ir saugo jo sūnėnas ir krikštasūnis, Argentinos katalikiškojo universiteto profesorius Ernestas Juozas Paršelis (g. 1940 m.).

2005 m. jis perdavė Lietuvos teatro, muzikos ir kino muziejui J. Gilvydžio kino filmų, sukurtų Lietuvoje ir Argentinoje 1930–1978 m., fragmentų 3 valandų santrauką, žadėdamas ateityje atgabenti ir visą archyvą. Iš šios vaizdo medžiagos sukurtas 60 min. ilgio dokumentinis filmas "Prieškario Lietuva. 1930–1940 m." (autorius – Zacharijus Putilovas, 2006 m.).