Gimimo data pagal naująjį kalendorių – 1894 m. gruodžio 30 d.

Seneliai: Tomas Steponas Gižinskis ir ? Petraškaitė-Gižinskienė, Aleksandras Zoštautas ir Anastazija Laurinavičiūtė-Zoštautienė – dvarininkai bajorai. Tėvai: Leonardas Gižinskas ir Adelė Zoštautaitė-Gižinskienė – dvarininkai bajorai. Seserys: Bronislava Gižinskaitė-Morkūnienė (? – po 1940), Jadvyga Gižinskaitė-Žilinskienė (? – po 1940).

1894 m. gruodžio 22 d. Subačiaus bažnyčioje jį pakrikštijo kunigas Rimkūnas, krikštatėviai buvo Jonas Ivanauskas ir našlė Emilija Markevičienė.

1902–1910 m. augo Maskvoje (Rusija) K. Morkūno lietuviškoje šeimoje, mokėsi Maskvos vidurinėje mokykloje, tėvų buvo ruošiamas diplomatijos mokslams ir tarnybai. Jos atsisakęs, grįžo į Lietuvą ir 1910–1915 m. studijavo Kauno Žemaičių kunigų seminarijoje, 1914–1915 m. studijas tęsdamas Vašuokėnų dvare (Anykščių r.), kur Pirmojo pasaulinio karo pradžioje buvo perkelta ši seminarija. 1915 m. gegužės 16 d. Vašuokėnuose jis buvo įšventintas subdiakonu. Seminarijai 1915 m. rudenį persikėlus į Smolenską (Rusija), pasiliko Lietuvoje ir studijas nutraukė, toliau lavinosi savarankiškai, dėl jauno amžiaus dar negalėdamas gauti kunigo šventimų. 

1915–1917 m. L. Gižinskas dirbo mokytoju Vašuokėnų pradžios mokykloje – vienoje pirmųjų, pradėjusioje veikti vokiečių okupuotame krašte. 

1917 m. kovo 4 d. Kauno arkikatedroje Žemaičių vyskupas Pranciškus Karevičius įšventino jį kunigu.

1917–1919 m. L. Gižinskas tarnavo Naujamiesčio (Panevėžio r.) parapijoje vikaru. Paskirtas 1919 m. rugsėjį, 1919–1922 m. jis gyveno ir dirbo Jurbarke, iš pradžių buvo "Saulės" progimnazijos kapelionas, o 1920–1922 m. ėjo ir progimnazijos direktoriaus pareigas. 1922 m. nuo vasario iki liepos jis buvo Viduklės (Raseinių r.) vikaras ir pradinių klasių tikybos mokytojas.

1922–1925 m. L. Gižinskas dirbo Kupiškio progimnazijos kapelionu ir mokė lotynų kalbos.

1925–1926 m. jis studijavo Kauno Vytauto Didžiojo universiteto Teologijos-filosofijos fakulteto Teologijos skyriuje ir 1926 m. gavo teologijos licenciato (bažnyčios istorija) laipsnį. Gyvendamas Kaune, 1925–1926 m. jis buvo Kauno Simono Daukanto mokytojų seminarijos kapelionas ir istorijos mokytojas bei Kauno mokytojų draugijos rusų gimnazijos katalikų tikybos mokytojas. 

1926–1940 m. L. Gižinskas gyveno ir dirbo Rokiškyje, buvo Rokiškio gimnazijos kapelionas ir dėstė tikybą. 1928 m. jam buvo suteiktos aukštesniosios mokyklos mokytojo teisės, 1931 m. jis  gavo teisę vidurinėse mokyklose dėstyti tikybą, lotynų ir vokiečių kalbas, istoriją, visuomenės mokslą, matematiką ir geografiją.

Rokiškyje jis buvo ir Rokiškio Šv. Augustino filijinės bažnyčios rektorius, rūpinosi šios bažnyčios remontu – pastato pertvarkymu iš nebenaudojamos stačiatikių cerkvės į katalikų bažnyčią. Jo iniciatyva iki 1933 m. bažnyčia buvo suremontuota, o 1938 m. padarytas kapitalinis remontas, pristačius presbiteriją ir zakristijas, plotą padidinus dvigubai. XX a. antrojoje pusėje bažnyčia buvo panaikinta, pastatas nugriautas.

1927 m. jis buvo paskirtas Panevėžio vyskupijos cenzoriumi.

Nuo 1918 m. L. Gižinskas bendradarbiavo "Lietuvos aide", "Lietuvos mokykloje", "Laisvėje", "Ryte" ir kituose periodiniuose leidiniuose, 1924–1926 m. buvo "Ryto" skyriaus "Menas ir kūryba" redaktorius. Publikacijas jis pasirašydavo slapyvardžiai Giža Leonas, K. L. G., Krupičiškis.

Jis parašė ir išleido knygas "Dievo tiesos krislai tautų religijose" (1939 m.) ir "Palyginamoji religijų istorija".

1940 m. pirmosios sovietinės okupacijos pradžioje netekęs tarnybos Rokiškyje, L. Gižinskas pasitraukė į Vakarus ir Antrojo pasaulinio karo metais gyveno Vokietijoje, Bavarijoje. 1942–1943 m. jis tęsė studijas Miuncheno Liudviko Maksimilijono universitete, kur studijavo meno istoriją ir vokiečių literatūrą. 1946–1949 m. jis buvo Miuncheno lietuvių gimnazijos lotynų ir vokiečių kalbų mokytojas. Vokietijoje jis bendradarbiavo leidiniuose "Aidai", "Naujas Gyvenimas".

Nuo 1949 m. iki gyvenimo pabaigos jis praleido JAV.

Iš pradžių L. Gižinskas tęsė pedagoginę veiklą – buvo Šv. Petro mokyklos Fairmonte (Vakarų Virdžinijos valstija) lotynų kalbos mokytojas.

Vėliau jis buvo klebonas keliose Amerikos lietuvių katalikų parapijose, ilgiausiai tarnavo Barakvilio (Barrackvill, Vakarų Virdžinijos valstija) Visų Šventųjų bažnyčios ir Farmingtono (Farmington, Vakarų Virdžinijos valstija) Šv. Petro bažnyčios klebonu, nuo 1967 m. buvo prelatas, monsinjoras. 1967 m. paminėjęs kunigystės 50-metį, jis buvo kunigas jubiliatas, o po dešimtmečio minėjo ir kunigystės 60-metį.

Pasitraukęs iš dvasininko pareigų, L. Gižinskas apsigyveno Detroite (Mičigano valstija).

Amžininkų prisiminimuose išliko kaip labai taktiškas, aukštos erudicijos dvasininkas.

Mirė 1977 m. liepos 6 d. Detroite (Mičigano valstija, JAV). Palaidotas Kalvarijos kalno kapinėse Vilinge (Wheeling, Vakarų Virdžinijos valstija, JAV).