Tėvai: Chrizostomas Šulga ir Ona Čiukšytė-Šulgienė. Broliai ir seserys: Matas Šulga (apie 1880 – 1926), Uršulė Šulgaitė-Stančikienė (1885–1962), Kamilė Šulgaitė (apie 1890 – 1989), Pranas Šulga (1893–1983) – Lietuvos kariuomenės savanoris, pedagogas ir visuomenininkas.

Baigė Kavarsko (Anykščių r.) pradžios mokyklą.

Mokytojo rekomenduotas, nuo 1899 m. K. Šulga pradėjo dirbti Kavarsko valsčiaus raštvedžiu. Vėliau jis buvo perkeltas ir tą patį darbą dirbo Subačiaus (Kupiškio r.) bei Ukmergės valsčių raštinėse.

1904 m. Ukmergėje jis buvo mobilizuotas į carinės Rusijos kariuomenę ir 1904–1907 m. tarnavo Sankt Peterburge, Izmailovo aukštaūgių pulke, kuris saugojo Rusijos caro rūmus.

1907 m. grįžęs į gimtinę, K. Šulga toliau dirbo valsčių raštinėse: iš pradžių Kurkliuose (Anykščių r.), paskui Taujėnuose (Ukmergės r.) ir Subačiuje.

Prasidėjus Pirmajam pasauliniam karui, 1914 m. liepos 18 d. K. Šulga vėl buvo mobilizuotas į Rusijos kariuomenę ir, kaip turintis raštininko patirties, paskirtas į Vilniaus atsargos dalinį, paskui perkeltas į raštinę, 1914–1921 m. dirbo raštininku įvairiose Rusijos ir Ukrainos vietovėse. 1917 m. jis dalyvavo Visos Rusijos lietuvių Seimo darbe.

1922 m. jis grįžo į Lietuvą, įsikūrė Raguvoje (Panevėžio r.) – žmonos tėviškėje, kur 1921 m. jau buvo grįžusi ir jo žmona, ir 1922–1935 m. dirbo Raguvos valsčiaus sekretoriumi. 1924 m. jis buvo Raguvos valsčiaus savivaldybės rinkimų komisijos pirmininkas, 1933 m. – komisijos piliakalniams ir senkapiams apžiūrėti narys.

Jis buvo Raguvos bažnyčios choro narys, Raguvos vidurinės mokyklos tėvų komiteto įgaliotinis, 1929 m. bandęs išsaugoti uždaromą mokyklą.

Gyvendamas Raguvoje, K. Šulga kolekcionavo istorinę medžiagą: rinko archeologinius radinius, pinigus, etnografijos, istorijos ir meno eksponatus, pirko ar gaudavo juos kaip dovanas. Dalį eksponatų jis surinko, mėgėjiškai kasinėdamas archeologijos paminklų vietas Raguvos apylinkėse, konsultuodamasis dėl tokių tyrimų su archeologu Petru Tarasenka. Jo rinkiniai buvo eksponuojami teminėse parodose įvairiose Lietuvos vietose.

1935 m. liepos 26 d. jis sudarė ir pateikė Valstybinei archeologijos komisijai savo kolekcijos sąrašą, kuriame buvo 643 vienetų numizmatikos rinkinys, jame 577 pinigai ir 57 medaliai. Savo rinkinių dalį jis pardavė Vytauto Didžiojo karo muziejui Kaune, tačiau diduma jų vėliau pasklido pas kitus kolekcininkus.

1935–1948 m. K. Šulga gyveno Subačiuje. 1935–1940 m. jis dirbo Subačiaus valsčiaus sekretoriumi. Pirmosios sovietinės okupacijos laikotarpiu jis buvo Subačiaus kooperatyvo darbuotojas, vėliau pokario metais – valstybinio draudimo inspektorius.

Nuo 1948 m. iki gyvenimo pabaigos jis gyveno Kaune, nuo 1950 m. keletą metų dar dirbo Kauno 5-osios mergaičių vidurinės mokyklos buhalteriu.

Laisvalaikiu mėgo kaupti kolekcijas, piešė, domėjosi gamta, pasižymėjo blaiviu gyvenimo būdu – visą gyvenimą nerūkė ir nevartojo alkoholio.

Susituokė 1913 m. spalio 12 d. Raguvos bažnyčioje, žmona Liudvika Survilaitė-Šulgienė (1892–1974) iš Raguvos. Dukterys: Aldona Šulgaitė (1914–1991) – pedagogė prancūzų kalbos mokytoja, Matilda Šulgaitė-Žemeckienė (1916–1966) – gydytoja ir Eugenija Šulgaitė-Karkienė (1923–2014) – aktorė, chorvedžio Mykolo Karkos (1892–1984) marti.

Mirė 1978 m. Kaune. Palaidotas Kauno Petrašiūnų kapinėse-panteone (4PAN kvartalas, 12 eilė, 9 kapas). Kapą ženklina rausvo granito luitas su iškaltu dekoratyviniu simboliu, jo papėdėje pilkšvai rausvo šlifuoto akmens plokštėje iškaltas įrašas "Šulgų šeima".

K. Šulgos numizmatinę kolekciją muziejininkas Vincas Ruzas pristatė "Lietuvos valsčių" serijos monografijoje "Raguva" (2001 m.).