Gimimo data nustatyta pagal Troškūnų parapijos krikšto metrikus. Kituose šaltiniuos minima klaidinga gimimo data – 1904 m. gruodžio 27 d.

Tėvai: Adomas Gilvydis ir Kristina Vaičiūnaitė-Gilvydienė – valstiečiai žemdirbiai. Brolis Justinas Gilvydis (1891–?).

Tarnavo Lietuvos kariuomenėje, tarnyboje baigė 4 pradžios mokyklos klases. Demobilizuotas toliau mokėsi, baigė Panevėžio gimnaziją.

1929 m. J. Gilvydis emigravo iš Lietuvos į Pietų Ameriką, apsistojo Argentinoje, kur buvo žinomas kaip Jorge Gilvydis.

J. Gilvydis buvo Argentinos lietuvių laikraščio "Švyturys" ir knygyno administratorius, vienas "Vilniaus klubo" steigėjų ir jo pirmininkas, Vilniui vaduoti sąjungos aktyvistas.

1932 m. jis baigė kino technikos kursus, kūrė dokumentinius filmus apie Argentinos, Urugvajaus, Brazilijos lietuvių gyvenimą ir veiklą, atidarė Buenos Airėse kino teatrą "Vytis" ir jame rodė savo bei kitų kraštų lietuvių emigrantų ir Lietuvos menininkų sukurtus filmus, kaupė filmoteką, propagavo lietuviškąjį kiną.

J. Gilvydis taip pat buvo vienas pirmųjų lietuvių – kino kronikos kūrėjų, dokumentinio kino operatorius, fiksavęs lietuvių gyvenimą kino juostoje nuo 1930 iki 1978 m.

Per vasaros atostogas 1930–1939 m. jis vykdavo į Lietuvą ir gimtajame krašte filmuodavo kraštovaizdį, miestelius – Birštoną, Rokiškį, mažesnius kaimus, nufilmavo žmones, kurių neužfiksavo kiti to meto kino kūrėjai, fiksavo Lietuvos buitį ir darbus. 1939 m. kino juostoje jis įamžino Vilniaus grąžinimą Lietuvai.

Nuo 1940 m. J. Gilvydis ilgą laiką buvo draugijos "Lietuvai išlaisvinti" Centro vykdomojo komiteto sekretorius.

Jis taip pat dalyvavo Argentinos lietuvių bendruomenės veikloje, buvo Tautos fondo, Argentinos lietuvių organizacijų ir spaudos tarybos (ALOST) veiklos organizatorius, Lietuvių namų valdybos narys.

J. Gilvydis iškėlė Pietų Amerikos lietuvių kongresų (PALK) idėją ir buvo pirmojo PALK organizacinio komiteto sekretorius, kongreso, įvykusio 1960 m. Buenos Airėse, prezidiumo narys, vyriausiasis tvarkytojas. 

Jis bendradarbiavo laikraščiuose "Argentinos žinios" ir "Dirva" (leistas JAV).

Susituokė iki 1929 m. Lietuvoje, žmona Danutė Domicelė Šumylaitė-Gilvydienė-de Gilvydis (1902–1980) iš Andrioniškio. Vaikų neturėjo.

Mirė apie 1978 m. Buenos Airėse (Argentina).

J. Gilvydžio sukauptą filmų fondą po jo mirties paveldėjo ir saugo jo sūnėnas, Argentinos katalikiškojo universiteto profesorius Ernestas Juozas Paršelis.

2005 m. jis perdavė Lietuvos teatro, muzikos ir kino muziejui J. Gilvydžio kino filmų, sukurtų Lietuvoje ir Argentinoje 1930–1978 m., fragmentų 3 valandų santrauką, žadėdamas ateityje atgabenti ir visą archyvą. Iš šios vaizdo medžiagos sukurtas 60 min. ilgio dokumentinis filmas "Prieškario Lietuva. 1930–1940 m." (autorius – Zacharijus Putilovas, 2006 m.).