Gimimo data nustatyta pagal krikšto metrikų įrašą. Kitur minimas kaip gimęs 1879 m.

Tėvai: Steponas Juodis (apie 1848 – ?) iš Albitiškių ir Uršulė Nečiūnaitė-Juodienė (apie 1852 – ?) iš Mokylių – žemdirbiai valstiečiai. Brolis Dominykas Juodis (apie 1870 – ?), seserys Julijona Juodytė-Žemaitienė (1876–?) – žemdirbė ir Marijona Juodytė-Pilkienė (1878–1959) – žemdirbė. Sūnėnas (sesers Marijonos sūnus) Steponas Pilka (1917–1994) – kunigas.

1874 m. balandžio 1 d. Kurklių bažnyčioje jį pakrikštijo vikaras Antanas Barkauskas, krikštatėviais buvo Adomas Mackevičius ir Juozapota Saladžienė, Jokūbo Saladžiaus žmona.

XIX a. pabaigoje – XX a. pradžioje J. Juodis buvo aktyvus knygnešys.

1898 m., būdamas aštuoniolikmetis, jis pradėjo keliauti į Tilžę parsinešti knygų, visą laiką keliaudavo pėsčias. Daugiausia nešė maldynėlius, mažo formato knygeles, laikraščius, slėpdamas juos po elgetos drabužiais. Apgabentų knygų namuose nelaikydavo – paslėpdavo pas savo kaimynę Oną Leščienę.

Jis platino lietuviškas knygas tuometinėje Ukmergės apskrityje, aprūpindamas jomis ir Kurklių bei Skiemonių parapijų kaimus, atnešdavo giminėms į Piktagalio kaimą (Anykščių r.).

Už tokią veiklą J. Juodis buvo įskųstas caro žandarams ir nuteistas mirties bausme sušaudyti, bet žmona jį nuo bausmės išpirko – pasakojama, kad už jo gyvybę kaip kyšį davė tris saujas aukso.

Sukūręs šeimą, J. Juodis gyveno ir ūkininkavo Mokyliuose, turėjo apie 10 hektarų žemės.

Lietuvos Respublikos laikais jam buvo skirta 20 litų knygnešio pensija. Sovietinės okupacijos metais jis atsisakė paramos mainais už tai, kad jo šeima nebūtų represuojama.

Amžininkų prisiminimuose jis išliko kaip linksmo būdo, bet ne tuščiakalbis, pasižymėjęs drąsa ir užsispyrimu.

Susituokė 1909 m. spalio 9 d. Kurklių bažnyčioje (santuoką palaimino vikaras Kajetonas Babrauskas), žmona Antanina Raupelytė-Juodienė (1879–1974) iš Mokylių. Užaugino sūnų ir penkias dukteris. Sūnus Vaclovas Juodis (1906–1934) – inžinierius, aviatorius, žuvęs skrydžio metu, dukterys: Vanda Juodytė-Kaušienė-Kausas – emigrantė JAV, Liucija Juodytė-Matikonienė – emigrantė JAV, Eugenija Juodytė-Šeštokienė (1909–?) ir kt. Anūkas (dukters Eugenijos sūnus) Vaclovas Vytautas Šeštokas (1931–1984) – mokslininkas kelių inžinierius.

Mirė 1952 m. Palaidotas Skiemonių (Anykščių r.) bažnyčios šventoriuje esančiose kapinėse šeimos kape. Kapą iki XX a. pabaigos ženklino betoninis paminklas su lentele, kurioje buvo įrašas "Knygn. Juozapas Juodis 1879–1952", dabar jis pakeistas nauju juodo akmens paminklu su įrašais, jame nurodyti J. Juodžio gimimo metai – 1889 (klaidingi).

Skiemonių vidurinės mokyklos kraštotyrininkų būrelis užrašė prisiminimus apie knygnešį J. Juodį ir parengė kraštotyros darbą "Knygnešio J. Juodžio pėdsakais" (1990 m.), jis saugomas A. Baranausko ir A. Vienuolio-Žukausko memorialiniame muziejuje.