Tėvai: Rapolas Sabalys (1823–?) iš Visėtiškių ir Antanina Bublytė-Sabalienė iš Svėdasų – valstiečiai žemdirbiai. Seserys: Uršulė Sabalytė (1862–1937), Anastazija Sabalytė-Šimkūnienė (1867–1939), Marijona Sabalytė-Vilienė (1881–?) ir kt.

1860 m. liepos 11 d. Svėdasų bažnyčioje jį pakrikštijo vikaras Albinas Rubavičius, krikštatėviai buvo valstiečiai Liudvikas Žvirblis ir Marcijona Čečienė, Valerijono Čečio žmona.

Mokėsi Liepojos (Latvija) gimnazijoje, ten išlaikė egzaminus ir įgijo vaistininko mokinio kvalifikaciją. Trejus metus mokėsi Žemaičių vyskupijos kunigų seminarijoje Kaune, bet paliko studijas, jų nebaigęs.

Jaunystėje J. Sabalys gyveno gimtinėje Visėtiškėse, vertėsi žemdirbyste, buvo Aluotų valsčiaus tarybos pirmininkas.

1901–1906 m. J. Sabalys dirbo Aluotų valsčiaus (Kunigiškiai) teismo pirmininku.

Nuo XX a. pradžios jis buvo Lietuvos nacionaldemokratinės partijos narys.

1906 m. kovo 26 d. J. Sabalys kaip Kauno gubernijos atstovas buvo išrinktas Rusijos I Dūmos deputatu. Jis buvo vienas iš 6 gubernijos atstovų pirmą kartą išrinktuose carinės  Rusijos  parlamento žemuosiuose rūmuose, 1906 m. nuo gegužės 10 d. iki liepos 21 d. (72 dienas) posėdžiavo Dūmoje, kol ši pirmoji Dūma dėl konfrontacijos buvo paleista. Jis priklausė Lietuvių grupei, buvo aktyvus svarstant žemės nuosavybės klausimus, vienas iš įstatymo projekto "Apie pilietinę lygybę" autorių.

1917 m. vasarą J. Sabalys gavo kvietimą dalyvauti lietuvių konferencijoje ir rugsėjo 18–22 d. buvo Vilniaus konferencijos delegatas – Rokiškio apskrities atstovas.

Susituokė 1907 m. kovo 5 d. Svėdasų bažnyčioje, žmona Uršulė Žvirblytė-Sabalienė (1888–1937) iš Pauriškių – valstietė žemdirbė. Liko našlys. Vaikai: Elena Sabalytė (1908–2001), Antanas Sabalys (1910–1942) – kariškis, ryšininkas, politinis kalinys, Juozas Sabalys (1912–1990) – kariškis, pedagogas, tarnautojas, Eugenija Sabalytė (apie 1915 – 1937) ir kt.

1937 m. balandžio 6 d. jo šeima patyrė tragediją – Visėtiškėse jo samdinys žiauriai nužudė jo žmoną Uršulę Sabalienę, dukterį Eugeniją Sabalytę ir seserį Uršulę Sabalytę.

Mirė po 1937 m. Palaidotas Svėdasų kapinėse šeimos kape. Kapą ženklina kelių paminklų kompozicija, viename iš jų, akmeninėje steloje su masyvaus kryžiaus bareljefu, iškaltas įrašas: "A+A / Ilsėkitės ramybėje, / mieli tėveliai, / sesės ir broliai, / Sabalių-Vilių / šeimos vaikai. / 1961 m.".