Tėvai – dvarininkai bajorai.

Vaikystėje mokėsi namuose ir Vilniaus pranciškonų vienuolyne, ten pradėjo ir dvasines studijas. 1861–1862 m. tęsė studijas Žemaičių vyskupijos kunigų seminarijoje Varniuose (Telšių r.) ir 1862 m. kovo 31 d. jas baigė.

1862 m. F. Bilevičius buvo įšventintas kunigu.

1862–1874 m. jis tarnavo Žemaičių vyskupijos parapijose vikaru.

Atvykęs 1874 m. rudenį, 1874–1881 m. F. Bilevičius buvo Traupio (Anykščių r.) Šv. Onos parapijos klebonas.

1881–1886 m. jis tarnavo Veiviržėnų (Klaipėdos r.) Šv. apaštalo evangelisto Mato parapijos klebonu. 1882 m. jo rūpesčiu buvo atnaujintas bažnyčios interjeras, sutvarkyta išorė, bet dėl užklupusių ligų dvasininkas platesnės veiklos nebeišvystė. Veiviržėnuose jis ugdė vikarus: 1881–1884 m. – Jeronimą Sipavičių, 1883 m. – Juozapą Gedmintą, 1885–1886 m. – Petrą Čekanauską.

Mirė 1886 m. gruodžio 8 d. Veiviržėnuose (Klaipėdos r.), aukodamas Šv. Mišias. Palaidotas Veiviržėnų kapinėse prie koplyčios. Kapą ženklina paminklas – dekoruotas vamzdinis geležinis kryžius ant akmeninio postamento su įrašo liejinio lentele: "Čia ylsisi kunas / a. a. kunigo Portu- / nato Bielevyčes bu- / vusi Veviržėnu kla- / bono miroso 1886 m. / 8 guodžio. Ta kryžiu / isteige Antonas ir / Petronelia Poškos Bar / bora Simulėn 1914".