Tėvai: Dominykas Gražys (1888–1943) iš Ramaškonių ir Ona Lukoševičiūtė-Gražienė (1893–1939) iš Pasmodų – valstiečiai žemdirbiai. Seserys ir broliai: Anelė Gražytė (1917–1917) – mirė kūdikystėje, Povilas Gražys (1918–1990), Vytautas Gražys (1922–?) ir Ona Gražytė-Kaušpėdienė (1930–2017) – ekonomistė. Giminaitis (sesers Onos vyras) Vytautas Kaušpėdas (1927–2008) – inžinierius architektas, statybininkas.

Pokario metais J. Gražys išėjo partizanauti, buvo Perkūno būrio, vadovaujamo Jurgio Urbono-Lakštučio, partizanas. 1946 m. vasarą Perkūno būriui prisijungus prie Vytauto apygardos Liūto rinktinės, 1946–1947 m. jis buvo Algimanto kuopos Perkūno būrio partizanas.

1947 m. rugsėjį Algimanto kuopą perdavus Algimanto apygardai ir ją pertvarkius į Jovaro kuopą, 1947–1948 m. J. Gražys buvo Algimanto apygardos 4-osios Jovaro kuopos Perkūno būrio partizanas.

1948 m. kovą Jovaro kuopą grąžinus Vytauto apygardos Liūto rinktinei, jis toliau buvo šios rinktinės 3-osios Jovaro kuopos Perkūno būrio partizanas.

Paskirtas 1949 m. sausio 2 d., 1949 m. sausį–vasarį, iki gyvenimo pabaigos, jis buvo Vytauto apygardos Liūto rinktinės 3-osios Jovaro kuopos vadas ir šios kuopos Tigro būrio vadas.

Žuvo 1949 m. vasario 13 d. Rubikių kaime (Anykščių r.) – buvo išduotas Jono Stulpino sodyboje ir sušaudytas, kai išsiveržė iš bunkerio. Kartu žuvo Jovaro kuopos vado pavaduotojas Petras Mameniškis-Girėnas ir partizanas Jonas Žąsinas-Vanagas, gyva suimta tik partizanė Elena Mameniškienė-Kerpė. Palaidotas Andrioniškio (Anykščių r.) kapinėse.