Seneliai: Antanas Griganavičius (1867–1940) – knygnešys ir Anastazija Graužinytė-Griganavičienė (1869–1935). Tėvai: Juozapas Griganavičius (1889–1957) – Svirnų dvaro ūkininkas, Kavarsko parapijos komiteto pirmininkas, ir Ona Pukaitė-Griganavičienė (1894–1970) – švietėja ir visuomenininkė, tretininkė. Augo penkių vaikų šeimoje, buvo antrasis. Broliai Petras Griganavičius (1923–2001) – inžinierius mechanikas, emigrantas Čikagoje (JAV), Zigmas Griganavičius (1927–2016) – verslininkas, emigrantas Čikagoje (JAV) ir Albertas Griganavičius (g. 1934 m.) – gydytojas, sesuo Marija Griganavičiūtė-Stalioraitienė (g. 1931 m.) – medikė.

Mokėsi Kavarsko (Anykščių r.) pradžios mokykloje, 1933–1943 m. tęsė mokslą Ukmergės Antano Smetonos gimnazijoje, 1943–1944 m. baigė Anykščių gimnaziją su pirmąja jos abiturientų laida ir kartu su kitais gimnazistais išėjo savanoriu į Povilo Plechavičiaus formuojamą Vietinę rinktinę, pradėjo mokytis Marijampolės kariūnų mokykloje. 

Rinktinę išformavus, 1944–1945 m. V. Griganavičius slapstėsi nuo mobilizacijos, kiek laiko buvo kalinamas, paskui dirbo Šešuolėlių (Ukmergės r.) girininkijoje miško kirtėju, uždarbiavo pas ūkininkus. Kunigo Eduardo Simaškos paskatintas, 1945–1949 m. studijavo Kauno tarpdiecezinėje kunigų seminarijoje, studijų metais buvo seminarijos negociatorius (atstovas svečiams pasitikti).

1949 m. rugsėjo 25 d. Kauno Švč. Trejybės bažnyčioje Panevėžio vyskupas K. Paltarokas įšventino V. Griganavičių kunigu. Kartu buvo įšventintas Bronislovas Simsonas ir kiti kunigai.

1949–1951 m. jis buvo Seredžiaus (Jurbarko r.) Šv. Jono Krikštytojo parapijos vikaras rezidentas, talkino parapijos veikloje ir baigė teologijos studijas. Seredžiuje jis artimai bendravo su partizanais, teikė jiems dvasinę pagalbą, buvo artimas vietinio jaunimo bičiulis.

1951–1957 m. V. Griganavičius buvo Žemosios Panemunės (Šakių r.) Šv. Vincento Pauliečio parapijos klebonas, 1957–1958 m. – Vilkijos (Kauno r.) parapijos vikaras, pavadavo įvairių parapijų klebonus.

1958–1960 m. jis buvo Raudondvario (Kauno r.) Šv. Kūdikėlio Jėzaus Teresės parapijos klebonas, 1960–1962 m. tarnavo Skirsnemunės (Jurbarko r.) Šv. Jurgio parapijos klebonu. 1962–1963 m. jis trumpai dirbo Gasčiūnų (Jurbarko r.) Šv. Stanislovo Kostkos parapijos klebonu, 1963–1968 m. buvo Bazilionų (Šiaulių r.) Šv. Bazilijaus Didžiojo bažnyčios, o 1968–1977 m. – Dotnuvos (Kėdainių r.) Viešpaties Apreiškimo Švč. Mergelei Marijai parapijos klebonas, kartu administravo ir Akademijos bei Šlapaberžės parapijas. Jis suremontavo Dotnuvos bažnyčią.

Nuo 1977 m. iki gyvenimo pabaigos V. Griganavičius gyveno ir tarnavo Raseiniuose.

1977–1998 m. jis buvo Raseinių Švč. Mergelės Marijos Ėmimo į dangų parapijos klebonas, kartu administravo ir Kalnujų (Raseinių r.) Šv. Viktoro parapiją. Nuo 1998 m. iki gyvenimo pabaigos jis liko Raseinių Švč. Mergelės Marijos Ėmimo į Dangų parapijos altarista, talkino pastoracijoje Raseiniuose ir Alėjų (Raseinių r.) Švč. Trejybės parapijoje, 1998–2004 m. buvo Lyduvėnų (Raseinių r.) Šv. apaštalų Petro ir Pauliaus parapijos administratorius.

Lietuvos Atgimimo metais V. Griganavičius aktyviai dalyvavo visuomeniniame gyvenime: šventino vėliavas ir kryžius, pasitiko ir laidojo iš Sibiro parvežtus tremtinių palaikus, bažnyčioje pradėjo rengti dvasingumą ugdančius koncertus, mokyklose atnaujino tikybos pamokas. Jis dalyvavo Atgimimo mitinguose Raseiniuose ir Kaune, buvo 1991 m. sausio įvykių dalyvis ir liudininkas Vilniuje, visur propagavo Maironio poeziją kaip patriotizmo šaltinį ir galimą alternatyvą maldoms.

V. Griganavičius buvo Lietuvos Vietinės rinktinės karių savanorių kapelionas, Raseinių rajono garbės pilietis. Raseiniuose šis dvasininkas buvo ryškus moralinis autoritetas, nuoširdžiai bendravęs ir su tikinčiaisiais, ir su abejojančiais, visiems randęs šiltą žodį.

Jis buvo apdovanotas Kariuomenės kūrėjų savanorių medaliu (2000 m.).

Mirė 2008 m. kovo 17 d. Kaune. Palaidotas Raseinių Švč. Mergelės Marijos Ėmimo į dangų bažnyčios šventoriuje. Kapą ženklina juodo šlifuoto akmens paminklinis kryžius su iškaltu įrašu postamente "A+A /Kunigas / Vytautas / Griganavičius / 1925-1949-2008 / Raseinių garbės pilietis" ir antkapinė plokštė su įrašu "Tu, Viešpatie, – poilsis po darbo, / Tu – gyvenimas po mirties. / Tu ir mirusiems suteiksi amžinąjį atilsį.".