Tėvai: Steponas Juodis ir Uršulė Nečiūnaitė-Juodienė – žemdirbiai valstiečiai. Brolis Dominykas Juodis (apie 1870 – ?), sesuo Julija Juodytė-Žemaitienė (apie 1878 – ?).

XIX a. pabaigoje – XX a. pradžioje J. Juodis buvo aktyvus knygnešys.

1898 m., būdamas aštuoniolikmetis, jis pradėjo keliauti į Tilžę parsinešti knygų, visą laiką keliaudavo pėsčias. Daugiausia nešė maldynėlius, mažo formato knygeles, laikraščius, slėpdamas juos po elgetos drabužiais. Apgabentų knygų namuose nelaikydavo – paslėpdavo pas savo kaimynę Oną Leščienę.

Jis platino lietuviškas knygas tuometinėje Ukmergės apskrityje, aprūpindamas jomis ir Kurklių bei Skiemonių parapijų kaimus, atnešdavo giminėms į Piktagalio kaimą (Anykščių r.).

Už tokią veiklą J. Juodis buvo įskųstas caro žandarams ir nuteistas mirties bausme sušaudyti, bet žmona jį nuo bausmės išpirko – pasakojama, kad už jo gyvybę kaip kyšį davė tris saujas aukso.

Sukūręs šeimą, J. Juodis gyveno ir ūkininkavo Mokyliuose, turėjo apie 10 hektarų žemės.

Lietuvos Respublikos laikais jam buvo skirta 20 litų knygnešio pensija. Sovietinės okupacijos metais jis atsisakė paramos mainais už tai, kad jo šeima nebūtų represuojama.

Amžininkų prisiminimuose jis išliko kaip linksmo būdo, bet ne tuščiakalbis, pasižymėjęs drąsa ir užsispyrimu.

Buvo vedęs, žmona Antanina Juodienė (1879–1974) iš Mokylių. Užaugino sūnų ir penkias dukteris. Sūnus Vaclovas Juodis (1906–1934) – inžinierius, aviatorius, žuvęs skrydžio metu, dukterys: Vanda Juodytė-Kaušienė-Kausas – emigrantė JAV, Liucija Juodytė-Matikonienė – emigrantė JAV, Eugenija Juodytė-Šeštokienė (1909–?) ir kt. Anūkas (dukters Eugenijos sūnus) Vaclovas Vytautas Šeštokas (1931–1984) – mokslininkas kelių inžinierius.

Mirė 1952 m. Palaidotas Skiemonių (Anykščių r.) bažnyčios šventoriuje esančiose kapinėse šeimos kape. Kapą iki XX a. pabaigos ženklino betoninis paminklas su lentele, kurioje buvo įrašas "Knygn. Juozapas Juodis 1879–1952", dabar jis pakeistas nauju juodo akmens paminklu su įrašais, jame nurodyti J. Juodžio gimimo metai – 1889.

Skiemonių vidurinės mokyklos kraštotyrininkų būrelis užrašė prisiminimus apie knygnešį J. Juodį ir parengė kraštotyros darbą "Knygnešio J. Juodžio pėdsakais" (1990 m.), jis saugomas A. Baranausko ir A. Vienuolio-Žukausko memorialiniame muziejuje.