Tėvai: Kazimieras Vercinskas (1828–1908) – carinės Rusijos rekrutas, vėliau žemdirbys ir miškininkas, ir Pranciška Karpavičiūtė-Vercinskienė (1856–1886). Buvo vyriausias ir vienintelis užaugęs vaikas šeimoje, broliai Jonas Vercinskas (1880 – po 1886) – mirė vaikystėje, Vincentas Vercinskas (1882–1882) – mirė kūdikystėje ir Antanas Vercinskas (1883–1896) – mirė paauglystėje, sesuo Juozapota Vercinskaitė (1885–1886) – mirė vaikystėje.

Pirmojo pasaulinio karo metais buvo vokiečių be pagrindo apkaltintas, suimtas ir kalintas Panevėžio kalėjime, po poros savaičių išteisintas ir paleistas.

J. Vercinskas apie 1900 m. perėmė iš senstančio savo tėvo Latavos eiguvą ir iki 1935 m. visą laiką dirbo eiguliu, kol senatvėje perdavė šią tarnybą sūnui Povilui.

Už pavyzdingai atliekamą tarnybą Nepriklausomoje Lietuvoje jis buvo apdovanotas Vytauto Didžiojo ordino medaliu (1931 m. rugsėjo 8 d.) ir Nepriklausomybės medaliu. Jausdamas gyvenimo pabaigą, prašė palaidoti jį su šiais apdovanojimais, tokia jo valia po mirties buvo įvykdyta.

Laisvalaikiu mėgo medžio darbus, skobdavo geldas, gamindavo kubilus, medinius kibirus.

Susituokė 1904 m. vasario 3 d. Troškūnų bažnyčioje (santuoką palaimino vikaras Pranciškus Janulaitis), žmona Antanina Budrevičiūtė-Vercinskienė (1877–1956) iš Bareišėlių – žemdirbė. Vaikai: Marijona Vercinskaitė (1905–1908) – mirė vaikystėje, Julijona Vercinskaitė-Morkūnienė (1907–1985), Liudvikas Vercinskas (1909–1994) – miškininkas, Povilas Vercinskas (1911–2000) – miškininkas ir Ona Vercinskaitė-Žarskuvienė (1914–1994).

Mirė 1940 m. spalio 22 d. Latavoje (Anykščių r.). Palaidotas Andrioniškio kapinėse šeimos kape. Kapą ženklina juodas akmeninis paminklas-stela su iškaltu Kristaus, nešančio kryžių, atvaizdu ir įvardintais palaidotais šeimos nariais: "Vercinskai / Juozas 1867–1940 / Antanina 1877–1956 / Klementina 1913–2000 / Povilas 1911–2000".