Tėvai: Simonas Mazūra (1847–?) iš Gudelių ir Rozalija Matuliauskaitė-Mazūrienė (1852–?) iš Gerkonių – valstiečiai žemdirbiai. Broliai ir seserys: Ona Mazūraitė-Šakarvienė (1875–1900) – žemdirbė, mirė jaunystėje gimdydama, Veronika Mazūraitė (1879–?), Kazimieras Mazūra (1885–1886) – mirė kūdikystėje, Vincentas Mazūra (1887–?), Rozalija Mazūraitė (1889–1897) – mirė vaikystėje ir Juozapota Mazūraitė-Gogelienė (1892–1965) – žemdirbė.

1883 m. sausio 7 d. Debeikių bažnyčioje jį pakrikštijo klebonas Aleksandras Radavičius, krikštatėviais buvo Laurynas Matuliauskas ir Agnietė Gražytė.

Studijavo Kauno Žemaičių kunigų seminarijoje.

1908 m. gruodžio 7 d. Žemaičių vyskupijos valdytojas Gasparas Cirtautas jį įšventino kunigu. Kartu buvo įšventinti Antanas Braknys, Juozapas Kvietkauskas, Mykolas Paškevičius, Justinas Ribokas ir kiti kunigai.

1908–1920 m. J. Mazūra buvo Smilgių (Panevėžio r.) parapijos vikaras.

Paskirtas 1920 m. balandžio 7 d., 1920–1927 m. jis tarnavo Grūžių (Pasvalio r.) koplyčios kuratu. Grūžiuose J. Mazūra ėmėsi iniciatyvos perstatyti seną koplyčią, 1921–1924 m. organizavo naujos medinės bažnyčios statybą ir įrengė maldos namus (sudeginti 1996 m.), kurie buvo konsekruoti Švč. Mergelės Marijos Nuolatinės Pagalbos titulu. Įkūrus parapiją, jis buvo pirmasis Grūžių klebonas.

Paskirtas 1927 m. sausio 27 d., 1927–1940 m. J. Mazūra buvo Zarasų Švč. Mergelės Marijos Dangun ėmimo parapijos klebonas. Zarasuose jis pasižymėjo kaip pavyzdingas parapijos reikalų tvarkytojas: suremontavo bažnyčią, pastatė beneficijos trobas.

J. Mazūros iniciatyva Zarasuose buvo pirmą kartą sutvarkytos lietuvių katalikų kapinės: išvalytos nuo menkaverčių krūpų, nutiestas centrinis takas. Kunigas nuolat ragino parapijiečius skirti daugiau dėmesio savo artimųjų kapams. Jis taip pat stengėsi sutaikyti lenkus ir lietuvius katalikus, priešinosi pasaulietiškos tautininkų valdžios kišimuisi į parapijos reikalus.

1933 m. Panevėžio vyskupas Kazimieras Paltarokas paskyrė J. Mazūrą Panevėžio vyskupijos katedros kapitulos garbės kanauninku.

Perkeltas 1940 m. lapkritį, 1940–1949 m. J. Mazūra buvo Klovainių (Pakruojo r.) Švč. Trejybės parapijos klebonas.

Valdžiai uždarius šią bažnyčią, 1949–1954 m., iki gyvenimo pabaigos, jis buvo Viešintų (Anykščių r.) Šv. arkangelo Mykolo parapijos klebonas.

Mirė 1954 m. kovo 20 d. Viešintose (Anykščių r.). Palaidotas Papšių (Anykščių r.) kapinėse prie savo artimųjų – tėvų ir sesers Juozapotos šeimos. Kapą ženklina akmeninis paminklas-stela su postamente iškaltu įrašu: "Kanauninkas Mazūra Juozapas / Gimė 1883 – 1954.III.20 / Viešpatie – dabar pasigailėk manęs".