Tėvai: Jokūbas Baltuška (1831–1892) iš Šeimyniškių ir Teklė Pečiūraitė-Baltuškienė (1837–1900) iš Šeimyniškių – žemdirbiai, apsišvietę ūkininkai valakininkai. Broliai ir seserys: Salomėja Baltuškaitė-Justinavičienė (1859–1950), Juozapota Baltuškaitė (1862–1936) – knygnešė, laisvės gynėja, Vincentas Baltuška (1864–1866), Kazimieras Baltuška (1866–1874), Petras Baltuška (1869 – iki 1892), Jonas Baltuška (1870 – iki 1892), Juozapas Baltuška (1874–1952), Jokūbas Baltuška (1876–1935), Ona Baltuškaitė (1878–1879) ir Magdalena Baltuškaitė-Šablevičienė (1880 – po 1905) – žemdirbė ūkininkė. Sūnėnas (sesers Magdalenos sūnus) Kazimieras Šablevičius (1905–1965) – kunigas teologas.

1871 m. rugsėjo 26 d. Anykščių bažnyčioje jį pakrikštijo klebonas Simonas Gutauskas, krikštatėviai buvo Antanas Rokas ir Petronėlė Paršelienė, Kazimiero Paršelio žmona.

Mokėsi Anykščių rusiškoje pradžios mokykloje. Jaunystėje gyveno pas tėvus, ūkininkavo. Spaudos draudimo metais, būdamas dar paauglys, gabeno į Lietuvą ir čia platino slaptą literatūrą lietuvių kalba, talkindamas knygnešiams. Vėliau jis ėmė burti ir organizuoti kaimo jaunimą, skaitė jiems paskaitas, pasižymėjo drąsa, greita orientacija, sąmojingumu ir teisingumu.

1902 m. J. Baltuška įstojo į Lietuvos socialdemokratų partiją. 1904–1906 m. jis buvo šios partijos Anykščių organizacijos vadovas, vienas žymiausių šios partijos organizatorių ir agitatorių Ukmergės apskrityje. Jis artimai bendravo su Griežionėlių Didžiuliais.

1905–1907 m. J. Baltuška Anykščiuose suorganizavo ginkluotą būrį ir jam vadovavo, rengė politines demonstracijas, surengė išpuolių prieš caro valdžios pareigūnus, nusiaubė degtinės monopolius. Anykščių bei Kupiškio apylinkėse jis organizavo gegužines, vakarus, kur buvo sakomos kalbos prieš carinę priespaudą, skleidžiamos tautiškumo idėjos, dainuojamos patriotinės dainos. Švenčių dienomis drauge su kitais talkininkais jis rengė mitingus, platino lapelius, raginančius neklausyti caro pareigūnų, neiti į kariuomenę, negerti valdžiai didelį pelną duodančios degtinės. Už jo sugavimą ir nužudymą carinės Rusijos valdininkai vienu metu net buvo paskyrę 500 rublių premiją.

1905 m. vasario 2 d. J. Baltuška Anykščiuose organizavo mitingą ir buvo suimtas. Jis buvo  įkalintas Ukmergės kalėjime, bet po savaitės, trūkstant įrodymų, paleistas.

1905 m. balandžio 23 d. mitinge Kurkliuose (Anykščių r.) per Šv. Jurgio atlaidus vėl buvo suimtas, kalintas Ukmergėje, tačiau ir vėl pritrūko įkalčių jį nuteisti.

Anykštėnai 1905 m. išrinko J. Baltušką delegatu į Didįjį Vilniaus Seimą. Anykščiuose pasirodęs baudžiamasis būrys keršydamas apšaudė jo namus.

Pralaimėjus revoliucijai porą metų gyvenęs nelegaliai, slapstęsis, 1907 m. J. Baltuška pabėgo nuo carinės valdžios persekiojimo iš pradžių į Rygą (Latvija), paskui vėl grįžo į Lietuvą ir nelegaliai perėjo Vokietijos sieną prie Palangos.

Iš Vokietijos 1907 m. jis emigravo į JAV. Ten J. Baltuška dirbo Pitsburgo (Pensilvanijos valstija) įmonėse darbininku, dalyvavo Amerikos lietuvių socialistų sąjungos veikloje, vėliau persikėlė į Čikagą (Ilinojaus valstija) ir ten liko iki gyvenimo pabaigos.

1916 m. jis pradėjo bendradarbiauti su Vinco Mickevičiaus-Kapsuko redaguotu laikraščiu "Kova". Vėliau J. Baltuška dalyvavo JAV lietuvių komunistų veikloje, buvo vienas iš bendrovės "Vilnis" organizatorių ir laikraščio "Vilnis" administratorius. Jis dalyvavo Amerikos lietuvių kultūros ir meno klubuose, kur buvo žinomas Baltušio pavarde.

1940 m. J. Baltuška pritarė Lietuvos sovietizavimui, Antrojo pasaulinio karo metais dalyvavo JAV darbo žmonių sąjūdyje Raudonajai armijai remti.

Vedė gyvendamas JAV. Žmona Marijona Žiuraitė, emigrantė iš Anykščių krašto. Užaugino sūnų.

Mirė 1947 m. spalio 29 d. Čikagoje. Palaidotas Čikagos Šv. Kazimiero lietuvių kapinėse.