Kaimas Kavarsko seniūnijoje už 3,5 kilometro į pietus nuo Kavarsko. Ribojasi su Judinio, Šerių ir Žvirblėnų kaimais. Per kaimą teka upelis Tetervė – Šventosios kairysis intakas bei jo intakas Medžiotė, kaime yra šių upių santakos. Įsikūręs abipus vieškelio Kavarskas–Šeriai.

Yra 3 sodybos – 12 gyventojų (2001 m.), 9 gyventojai (2011 m.). Priklauso Šerių seniūnaitijai (nuo 2009 m.).

Manoma, jog kaimo pavadinimas kilęs nuo to, jog šioje vietoje augo daug beržų.

1920 m. kaime gyveno 39 gyventojai. 1923 m. kaime buvo 12 sodybų – 47 gyventojai, turėjo apie 150 ha žemės. Kaimas nebuvo išskirstytas į vienkiemius. Paberžės kaime veikė organizacija "Laisvaminčiai", kuriai vadovavo Povilas Čiukšys.

Po Antrojo pasaulinio karo iš Paberžės buvo ištremtas į Sibirą 1 asmuo.

1949 m. kaimas buvo įjungtas į "Žalgirio" kolūkį, vėliau 1965–1990 m. priklausė Jakšiškio tarybiniam ūkiui, 1990–1992 m. – Šerių kolūkiui, kol 1992 m. šis ūkis iširo.

Priklauso Kavarsko parapijai. Senosios kaimo kapinės nenaudojamos, laidojimo ženklų nelikę.

Lietuvos Respublikos kultūros vertybių registro objektas Paberžės piliakalnis (objekto kodas 38560) nuo 2015 m. yra saugomas archeologijos ir kraštovaizdžio paminklas. Tai I tūkstantmečio – II tūkstantmečio pradžios gynybinės pilies vieta Šventosios upės kairiojo kranto viršutinės terasos kyšulyje dešiniajame Tetervės upelio krante. Iš pietryčių ir pietvakarių jį juosia Tetervės upelis, iš vakarų – Šventosios slėnis. Piliakalnis apaugęs spygliuočių su pavieniais lapuočiais mišku. Piliakalnį 2015 m. pradžioje surado biologas dr. Darius Stončius.