Tėvai: Rapolas Baltuška (1888–1933) ir Barbora Vebrinytė-Baltuškienė-Grinkienė (1908–1999) iš Mingelionių – religingi žemdirbiai ūkininkai, turėję 10 hektarų žemės ir 3 hektarus miško. Augo trijų vaikų šeimoje su seserimi ir broliu, vyriausioji sesuo Kotryna mirė kūdikystėje. Sesuo Zita Baltuškaitė-Vendelienė (g. 1929 m.) – pedagogė, lietuvių kalbos mokytoja, brolis Valentinas Baltuška (1932–1999) – vairuotojas. Motina liko našlė ir 1934 m. ištekėjo už Jono Grinko (1897–1981), todėl paskui augo ir su penkiais šios šeimos vaikais. Broliai ir seserys: Antanas Grinkas (1934–1999) – vairuotojas, Adelė Grinkaitė-Baliūnienė (g. 1936 m.) – siuvėja, Ona Grinkaitė-Slivkienė (g. 1937 m.) – darbininkė, Stasys Grinkas (1939–2008) – vairuotojas ir Jonas Grinkas (1944–1995) – žemdirbys.

1938–1942 m. mokėsi Barklainių (Panevėžio r.) pradžios mokykloje, 1942–1950 m. – Ramygalos (Panevėžio r.) A. Smetonos gimnazijoje, baigė ją jau pertvarkytą į Ramygalos vidurinę mokyklą 7-ojoje laidoje. Mokydamasis gimnazijoje, jis buvo Ramygalos bažnyčios patarnautojas. Bendravimo su Ramygalos parapijos vikaru Steponu Galvydžiu 1946–1947 m. paskatintas tapti kunigu, 1950–1954 m. studijavo Kauno tarpdiecezinėje kunigų seminarijoje. 1954 m. rugsėjo 10 d. jis gavo subdiakono šventimus.

1954 m. rugsėjo 12 d. Panevėžio vyskupas Kazimieras Paltarokas jį įšventino kunigu. Pirmąsias Šv. Mišias aukojo rugsėjo 13 d. Kauno Švč. Trejybės bažnyčioje.

1954 m. rugsėjį P. Baltuška trumpam buvo paskirtas Vyžuonų (Utenos r.) Šv. Jurgio parapijos vikaru, paskui 1954–1956 m. buvo Palėvenės (Kupiškio r.) Šv. Domininko bažnyčios vikaras. 1956 m. pavasarį jis vieną mėnesį buvo Antašavos (Kupiškio r.) Šv. Hiacinto (Jackaus) parapijos administratorius.

1956–1964 m. jis gyveno Anykščiuose ir buvo Anykščių Šv. apaštalo evangelisto Mato bažnyčios vikaras, talkino klebonui Jurgiui Žitkevičiui ir vikarui adjutoriui Vincentui Arlauskui. 1958 m. jis trumpai buvo ir Burbiškio (Anykščių r.) parapijos administratorius. Gyvendamas ir tarnaudamas Anykščiuose, P. Baltuška aktyviai dalyvavo kultūrinėje veikloje, bendravo su Anykščių inteligentija. Jis parengė ir išspausdino rašytojo Antano Vienuolio-Žukausko testamentą, pakrikštijo rašytojo Juozo Baltušio anūkę, parėmė ir dvasiškai palaikė iš tremties grįžusį rašytoją Kazį Inčiūrą.

Iškeltas 1964 m. balandį, 1964–1970 m. P. Baltuška tarnavo Zarasų Švč. Mergelės Marijos Ėmimo į dangų bažnyčios vikaru, talkino klebonams Antanui Juškai ir Gediminui Šukiui. Zarasuose jis organizavo bažnyčios stogo perdengimą nauja skarda ir pats daug dirbo, ją ruošdamas. Pavaduodamas susirgusį dvasininką, jis kiek laiko buvo ir Imbrado (Zarasų r.) vikaras.

Nuo 1970 m. balandžio 28 d. iki gyvenimo pabaigos jis tarnavo Daugailių (Utenos r.) Šv. Antano Paduviečio parapijoje, 1970–2011 m. buvo šios parapijos klebonas, nuo 2011 m. rudens – altarista.

1971, 1985 ir 2004 m. jo iniciatyva buvo remontuota ir perdažoma Daugailių bažnyčia, 1982 m. dekoruotas jos vidus.

1972–1988 m. jis buvo ir Baltriškių (Zarasų r.) Šv. Kazimiero parapijos administratorius, 1990–2007 m. –  Vajasiškio (Zarasų r.) Šv. Jono Krikštytojo parapijos administratorius, 1997–2011 m. buvo Juknėnų (Utenos r.) koplyčios klebonas. 1989–2000 m. P. Baltuška taip pat buvo Radeikių (Utenos r.) pradinės mokyklos tikybos mokytojas, nuo 1989 m. iki senatvės buvo Daugailių pagrindinės, Vajasiškio pradinės, Baibių pagrindinės (Zarasų r.) ir Juknėnų pradinės mokyklų tikybos mokytojas.

P. Baltuška buvo Lietuvių katalikų mokslo akademijos Utenos skyriaus narys (1994–2001 m.), kol šis skyrius sunyko, Vilniaus pedagoginio universiteto Garbės daktaras, Panevėžio vyskupijos kunigų tarybos narys ir patarėjas (2002–2008), Lietuvos kankinių bylų komiteto narys (1995–2012 m.).

Dirbdamas Daugailių parapijoje, P. Baltuška, kanauninko Stanislovo Kiškio paskatintas, ėmė rinkti kraštotyrinę informaciją apie žymius šio krašto dvasininkus, siekdamas garsinti žymius šios parapijos žmones.

Jis organizavo 13 konferencijų, skirtų arkivyskupo Mečislovo Reinio 110-osioms gimimo metinėms, aštuoniose iš jų skaitė pranešimą apie kunigo J. Šalčiaus knygos "Arkivyskupas Mečislovas Reinys" (1977 m.) išleidimą Jungtinėse Amerikos Valstijose. Jis taip pat surengė prelato dr. Juozo Prunskio 90-mečio minėjimo vakarus Daugailiuose, Utenoje, Panevėžyje, Antalieptėje, Zarasuose (1998 m.), konferencijas kunigo dr. Juozapo Čepėno 120-osioms gimimo ir 25-osioms mirties metinėms paminėti Daugailiuose, Antalieptėje (Zarasų r.), Zarasuose (2000 m.), žurnalisto Broniaus Kviklio mirties metinių ir mirties 10-mečio minėjimus Daugailiuose (1990, 2000 m.), akademiko prof. Antano Liuimos 85-ąsias ir 90-ąsias metines-konferencijas Utenoje (1995, 2000 m.).

P. Baltuška padėjo religijos istorikei Aldonai Vasiliauskienei surinkti medžiagą ir išleisti knygą "Gyvenimas Dievui ir Lietuvai", knygą apie arkivyskupą Teofilių Matulionį "Nemarus mirtingasis" (1981 m.). Jo surinkti eksponatai apie žymius daugailiškius saugomi Daugailių mokyklos muziejuje.

P. Baltuška išvertė iš rusų, prancūzų ir vokiečių kalbų į lietuvių kalbą knygas: E. Boniko "Konersreuto Teresė", Lellote "Gyvenimo problemos sprendimas", Doig "Motina Teresė", G. Kroll "Jėzaus pėdomis".

Jis aktyviai dalyvavo Lietuvos Atgimimo veikloje, buvo Sąjūdžio steigiamojo suvažiavimo dalyvis (1988 m.). Jis buvo Lietuvos krikščionių demokratų narys, Tėvynės Sąjungos – Lietuvos krikščionių demokratų narys.

2001 m. P. Baltuška buvo paskirtas Panevėžio vyskupijos katedros kapitulos Garbės kanauninku, nuo 2005 m. buvo emeritas. 2006 m. popiežius Benediktas XVI paskyrė P. Baltušką Jo Šventenybės Kapelionu – jam buvo suteiktas Monsinjoro titulas. 2010 m. Utenos rajono savivaldybė jam suteikė Utenos Garbės piliečio vardą.

P. Baltuška buvo apdovanotas Didžiojo Lietuvos kunigaikščio Gedimino ordino Riterio kryžiumi (2004 m.).

Išleista Aldonos Vasiliauskienės biografinė monografija "Monsinjoras Petras Baltuška" (2011 m.).  Išleistas P. Baltuškai skirtas vardinis suvenyrinis vokas "Monsinjoras Petras Baltuška" su jo ir Daugailių bažnyčios atvaizdais (autorius – Antanas Rimantas Šakalys, 2010 m.).

Laisvalaikiu mėgdavo skaityti knygas, keliauti.

Mirė 2012 m. spalio 13 d. Daugailiuose (Utenos r.). Palaidotas Daugailių bažnyčios šventoriuje. Kapą ženklina pilko ir rausvo šlifuoto akmens paminklinė kompozicija su kryžiumi, kapavietę dengiančioje plokštėje iškaltas įrašas: "Nesigailiu, kad pasiaukojau meilei / Monsinjoras / Petras Baltuška / Daugailių parapijos klebonas / 1970.04.28 – 2011.10.12 / 1930.11.20 – 1954.09.12 – 2012.10.13".