Tėvai: Antanas Kuzma ir Juozapota Trimbelytė-Kuzmienė.

1877 m. spalio 7 d. Jūžintų bažnyčioje jį pakrikštijo šios bažnyčios klebonas Jonas Rugilevičius, krikštatėviais buvo valstiečiai Juozapas Čiulka ir panelė Navikaitė.

Mokėsi Zarasų miesto mokykloje.

XIX a. pabaigoje – XX a. pradžioje P. Kuzma gyveno Sankt Peterburge (Rusija) ir dirbo fabrikuose darbininku, buvo Putilovo gamyklos šaltkalvis, dalyvavo darbininkų judėjime. Jis buvo vienas iš Mažturčių lietuvių savitarpio pagalbos draugijos, veikusios 1903–1918 m., steigėjų, kalintas už lietuviškų knygų platinimą.

XX a. pradžioje grįžęs į Lietuvą, P. Kuzma kiek laiko gyveno Vilniuje ir dirbo P. Vileišio mechaninių žemės ūkio padargų dirbtuvėse, turėjo nuosavą vinių parduotuvę, tapusią socialdemokratų susitikimų vieta. Atleistas iš darbo, jis persikėlė į žmonos gimtinę ir iki Pirmojo pasaulinio karo gyveno Kavarske (Anykščių r.).

P. Kuzma 1905 m. lapkričio 21–22 (gruodžio 4–5) dienomis buvo Didžiojo Vilniaus Seimo narys, ten buvo išrinktas į prezidiumą. Paskui jis dalyvavo 1905–1907 m. revoliuciniuose įvykiuose, platino socialdemokratišką spaudą ir proklamacijas, už tai jo namuose buvo ne kartą darytos kratos. 1906 m. lapkričio 26 d. Ukmergėje jis buvo suimtas su įkalčiais – keliomis dešimtimis laikraščių "Naujoji gadynė" ir "Echo" numerių bei pluoštu anticarinių proklamacijų. Už agitaciją, streiko organizavimą ir draudžiamos literatūros platinimą jis buvo kalinamas 4 mėnesius.

1907–1912 m. P. Kuzma buvo išrinktas III Rusijos Valstybės Dūmos deputatu nuo Kauno gubernijos kaip valstietis socialdemokratas, buvo Rusijos socialdemokratų frakcijos Dūmoje narys su sprendžiamuoju balsu, gyveno ir dirbo Sankt Peterburge. 1909 m. pasitraukęs iš šios frakcijos dėl nesutarimų nacionaliniais klausimais, jis suartėjo su viltininkais – tautininkais ir krikščionimis demokratais. Dūmoje jis buvo Žemės komisijos narys ir Švietimo komisijos narys, šios komisijos pedagogiškosios, kitatautiškosios ir amato komisijėlių narys.

1912 m. grįžęs į Lietuvą, jis įsigijo žemės ir malūną netoli Širvintų, bet negalėdamas gauti tarnybos Lietuvoje, išvyko į Išimą (Tiumenės sritis, Sibiras, Rusija) ir ten gyveno 1912–1918 m. Prasidėjus Pirmajam pasauliniam karui, ten jis pasikvietė iš Lietuvos ir šeimą. 1915–1917 m. buvo Lietuvių draugijos nukentėjusiems dėl karo šelpti darbuotojas – šios draugijos Centro komiteto įgaliotinis Sibiro vakaruose, Draugijos Išimo skyriaus pirmininkas. Išime jis įsteigė dailidžių dirbtuves, siuvyklą ir skalbyklą, suteikdamas darbo ten gyvenusiems maždaug 140 lietuvių karo pabėgėlių, atidarė vaikų prieglaudą ir lietuvišką mokyklą.

1918 m. grįžęs į Lietuvą, P. Kuzma buvo paskirtas atkurtosios Švenčionių apskrities viršininku. 

Netrukus jis buvo perkeltas dirbti Ukmergės apskrities viršininku, buvo Ukmergės savivaldybės darbuotojas. Gindamas nepriklausomą Lietuvą, 1918–1920 m. jis dalyvavo kovose su rusais ir su lenkais, aktyviai dalyvavo savivaldos kūrimo darbuose. Kiek laiko pagyvenęs Kavarske, 1923 m. jis įsikūrė Ukmergėje, priemiestyje pasistatė sodybą ir ten liko iki gyvenimo pabaigos, atsiskyręs nuo šeimos.

1927 m. kaip Tautininkų sąjungos atstovas P. Kuzma buvo išrinktas Ukmergės miesto burmistru ir šias pareigas ėjo 1927–1931 m., buvo antrasis šio miesto burmistras. Nuo 1928 m. jis buvo kandidatas į Lietuvos miestų ir miestelių sąjungos valdybos narius. Jam vadovaujant, atgijo Ukmergės miestas: buvo tiesiamos naujos, grindžiamos ir tvarkomos senos gatvės, vedamas vandentiekis ir kanalizacija, griaunami seni mediniai pastatai, jų vietoje statomi nauji mūriniai. Vien 1930 m. mieste buvo pastatyta 70 įvairios paskirties pastatų.

P. Kuzmai dirbant Ukmergės burmistru, miesto centre 1928–1930 m. buvo pastatytas skulptoriaus Liudo Truikio sukurtas obeliskas "Lituania Restituta" ("Atkurtoji Lietuva"), skirtas Lietuvos nepriklausomybės dešimtmečiui. 1951 m. paminklas buvo nuverstas ir sunaikintas, bet 1990 m. pradžioje jis buvo atstatytas.

1933 m. liepą P. Kuzma buvo išrinktas Ukmergės ligonių kasos direktoriumi, bet netrukus susirgo ir iš šių pareigų 1933 m. rudenį pasitraukė.

Nuo 1935 m. birželio 1 d. iki gyvos galvos P. Kuzmai kaip pasižymėjusiam asmeniui Lietuvos Prezidento Antano Smetonos aktu buvo paskirta 125 litų pensija, nuo 1937 m. balandžio 1 d. ji padidinta iki 145 litų.

1940 m. vasarą pirmosios sovietinės okupacijos laikotarpiu netekęs pragyvenimo šaltinio, P. Kuzma 1941 m. bandė įsidarbinti darbininku fabrike Kaune, bet dėl senatvės nebuvo priimtas.

P. Kuzma jaunystėje bendradarbiavo laikraščiuose "Lietuvos ūkininkas", "Vilniaus žinios", "Viltis", "Žemdirbys", "Žarija" ir kituose leidiniuose.

Jis parašė ir išleido brošiūras "Užrašai iš darbininko gyvenimo" (autobiografinė apybraiža, 1908 m.) ir "Dūma ir jos darbai" (1909 m.).

P. Kuzma buvo apdovanotas Didžiojo Lietuvos kunigaikščio Gedimino 3-ojo laipsnio ordinu (1928 m.).

Susituokė 1900 m. Kronštate (Sankt Peterburgas, Rusija), žmona Juzefa Sudeikytė-Kuzmienė (1879–1964) iš Kavarsko. 1923 m. paliko šeimą. Vaikai: Feliksas Kuzma (1902–?) – mirė vaikystėje, Genovaitė Kuzmaitė-Mikalajūnienė-Andrašiūnienė (1905–1977) – pedagogė lietuvių kalbos ir literatūros mokytoja, Vytautas Kuzma (1908–1984) – teisininkas, advokatas.

Mirė 1943 m. gegužės 6 d. Ukmergėje. Palaidotas Ukmergės kapinėse.

P. Kuzmos vardu XX a. viduryje buvo pavadinta gatvė Ukmergėje, bet sovietmečiu ji buvo pervardinta.

P. Kuzmos gyvenimas ir veikla pristatomi Benjamino Kaluškevičiaus ir Kazio Misiaus žinyne "Lietuvos knygnešiai ir daraktoriai 1864–1904" (2004 m.) ir šio žinyno 2-ojoje knygoje (2014 m.).