Tėvai: Edmundas Rinkevičius ir ? Rinkevičienė. Seserys: Eugenija Rinkevičiūtė-Urbonavičienė, Monika Rinkevičiūtė-Darulienė.

1957–1960 m. mokėsi Labeikių (Ukmergės r.) pradinėje mokykloje ir pradėjo patarnauti kunigui Aleksandrui Papučkai Šv. Mišioms Skiemonių (Anykščių r.) bažnyčioje, augo šio dvasininko globojamas. 1960–1964 m. mokėsi Skiemonių (Anykščių r.) vidurinėje mokykloje. Tėvams persikėlus į Ukmergę, 1964–1968 m. baigė Ukmergės 2-ąją vidurinę mokyklą. Atlikęs privalomąją karinę tarnybą sovietinėje kariuomenėje, toliau gyveno Ukmergėje ir dirbo autošaltkalviu.

1974–1979 m. E. Rinkevičius studijavo Kauno tarpdiecezinėje kunigų seminarijoje.

1979 m. gegužės 27 d. jis buvo įšventintas kunigu.

1979–1980 m. E. Rinkevičius buvo Panevėžio Kristaus Karaliaus katedros vikaras, 1980–1981 m. tarnavo vikaru Pasvalyje, 1981–1984 m. – Biržuose, 1984–1986 m. – Kriaunose (Rokiškio r.).

1986–1991 m. jis buvo Jūžintų (Rokiškio r.) Šv. arkangelo Mykolo parapijos klebonas, kartu administravo ir Ragelių (Rokiškio r.) Švč. Mergelės Marijos parapiją. 1991–1992 m. jis trumpai administravo Pabiržės (Biržų r.) Švč. Trejybės parapiją. 1992–2003 m. E. Rinkevičius tarnavo Užpalių (Utenos r.) Švč. Trejybės parapijos klebonu, aktyviai dalyvavo Užpalių bendruomenės veikloje.

2003–2017 m. E. Rinkevičius buvo Ramygalos (Panevėžio r.) Šv. Jono Krikštytojo parapijos klebonas.

Perkeltas 2017 m. liepos 4 d., 2017–2019 m. jis buvo Vabalninko (Biržų r.) Švč. Mergelės Marijos Ėmimo į dangų parapijos klebonas.

Nuo 2019 m. liepos E. Rinkevičius buvo išleistas gydytis.

2003–2019 m. jis buvo Panevėžio vyskupijos kunigas egzorcistas, Nacionalinės egzorcistų asociacijos viceprezidentas. Nuo 2007 m. jis buvo Panevėžio vyskupijos katedros kapitulos Garbės kanauninkas.

E. Rinkevičius rašė eilėraščius, spausdino juos regioninėje spaudoje, žurnale "Katalikų pasaulis", almanachuose ir rinkiniuose, vertė iš lenkų kalbos, publikuodavo publicistinius tekstus religijos ir moralės temomis. Jis buvo Utenos literatų klubo "Verdenė" narys.

E. Rinkevičiaus kūrybos leidimai:

1989 m. – "Jūžintų Šv. Mykolo Arkangelo Atgailos Kanauninkų vienuolyno dviejų šimtmečių sukaktis" (jubiliejinis bukletas).

1991 m. – "Vilties sparnai" (eilėraščiai).

1993 m. – "Po žilvičio šakom" (eilėraščiai), "Užpalių kraštas" (su Giedriumi Indrašium, kraštotyrinis bukletas).

1995 m. – "Krintanti žvaigždė" (eilėraščiai).

1998 m. – "Tavyje, o Dieve, visa mano viltis" (atsiminimai apie kunigą Aleksandrą Papučką).

2000 m. – "Sudegintas laikas" (eilėraščiai).

2003 m. – "Kunigo metai" (dienoraštis).

2008 m. – "Ramybės ąžuolas" (eilėraščiai).

2012 m. – "Ramygalos Šv. Jono Krikštytojo parapija" (rinkinio sudarytojas).

2013 m. – "Dvasinė pagalba sergančiajam : Lietuvos ir Šveicarijos bendradarbiavimo programos leidinys" (su Evaldu Daruliu ir Benediktu Jurčiu).

Už eilėraščių rinkinį "Krintanti žvaigždė" jis buvo išrinktas geriausiu Utenos 1995 metų literatu.

E. Rinkevičius nuo vaikystės drožinėjo medį. Jo drožiniai – įvairios medinės statulėlės religine tematika: Rūpintojėliai, žyniai, besimeldžiantys žmonės.

Nuo 1991 m. jis dalyvaudavo tautodailės parodose ir pats jas rengdavo. Nuo 1997 m. E. Rinkevičius buvo Lietuvos tautodailininkų sąjungos narys.

Jam buvo suteiktas Panevėžio rajono Garbės piliečio vardas (2016 m.).

Laisvalaikiu fotografuodavo.

Mirė 2019 m. rugpjūčio 6 d. Biržų ligoninėje. Palaidotas Vabalninko (Biržų r.) bažnyčios šventoriuje šalia kitų kunigų. Kapą ženklina juodo šlifuoto akmens paminklinė kompozicija su iškaltu kryžiumi ir įrašu po juo: "G. Kan. Kun. / Edmundas / Rinkevičius / 1950–1979–2019", postamente iškaltas tekstas: "Nėra mirties, – yra tik kelio vingis, / Yra tik juodas nerimas arba šviesi viltis. / Yra kančia negęstanti, bet tai – gyvenimas – / Pradžia ir ateitis. / (G. Kan. Kun. Edmundas Rinkevičius)".