Tėvas Juozapas Kuzavinis (1896–1965). Seserys: Janina Kuzavinaitė-Urbonienė (g. 1930 m.) ir Julijona Kuzavinaitė (g. 1938 m.), brolis Bronius Abdonas Kuzavinis (1932–2006) – žemdirbys.

Mokėsi Kupiškyje, 1947 m. baigė Kupiškio gimnaziją sidabro medaliu. 1947–1952 m. studijavo Vilniaus universiteto Filologijos fakultete iš pradžių lietuvių kalbą ir literatūrą, vėliau baigė klasikinės filologijos studijas, domėjosi sanskritu.

1951–1965 m. K. Kuzavinis dirbo mokytoju Vilniaus miesto mokyklose, ilgiausiai dėstė lietuvių kalbą Vilniaus Salomėjos Nėries vidurinėje mokykloje.

Nuo 1954 m. iki gyvenimo pabaigos jis buvo Vilniaus pedagoginio instituto (Vilniaus pedagoginio universiteto) dėstytojas, nuo 1978 m. – docentas. K. Kuzavinis dėstė lietuvių kalbos istorinę gramatiką, baltų filologiją, akcentologiją, lotynų ir graikų kalbas.

1979–1985 m. jis buvo Vilniaus pedagoginio instituto Lietuvių kalbos ir literatūros fakulteto prodekanas.

K. Kuzavinis išvertė Antoine Meillet knygą "Lyginamasis metodas istorinėje kalbotyroje" (1956 m.) – pirmąjį istorinės indoeuropeistikos veikalą lietuvių kalba.

Svarbiausi K. Kuzavinio moksliniai darbai ir publikacijos:

1955 m. – "Lotynų-lietuvių kalbų žodynas" (žodyno redaktorius; kitas leidimas – 1958 m.).

1964 m. – "Prūsų kalba" (pirmoji knyga Lietuvoje apie senąją prūsų kalbą).

1971 m. – "Lietuvių vardų etimologinis žodynas" (žodyno sudarytojas kartu su Broniu Savukynu, publikacija rinkinyje "Vardai ir žodžiai").

1982 m. – "Lietuvių kalbos vadovėlis" specialiosioms vidurinėms mokykloms (su kitais autoriais, kitas leidimas – 1993 m.).

1987 m. – "Lietuvių vardų kilmės žodynas" (su B. Savukynu, kitas leidimas – 1994 m., papildytas ir pataisytas leidimas – 2005 m.).

1996 m. – "Lotynų-lietuvių kalbų žodynas" (kitas leidimas – 2007 m.)

2005 m. – "Lotyniški posakiai ir sparnuoti žodžiai" (posakių rinkinio sudarytojas).

K. Kuzavinis taip pat yra kelių lotynų kalbos vadovėlių aukštosioms ir vidurinėms mokykloms bendraautoris (su Jonu Dumčiumi, Ričardu Mironu ir kitais, 1960, 1969, 1973, 1978 m.). Jis paskelbė straipsnių lietuvių kalbos žodžių istorijos, akcentologijos, onomastikos, etimologijos klausimais "Kalbotyroje" ir kitur.

Nagrinėdamas Lietuvos vardo kilmę, K. Kuzavinis pateikė populiariausią versiją, kad jis yra vandenvardinės kilmės – nuo Lietaukos upelės, tekančios netoli Kernavės ir įsiliejančios į Nerį, vardo.

K. Kuzaviniui buvo suteiktas Lietuvos SSR nusipelniusio dėstytojo garbės vardas (1977 m.).

Buvo vedęs. Duktė Vida Kuzavinytė (g. 1956 m.).

Mirė 2006 m. birželio 4 d. Surdegio kaime (Anykščių r.) – žuvo patekęs į avariją. Palaidotas Mitošiūnų kapinėse (Anykščių r.).