Tėvai: Juozapas Kašponis ir Anelė Seibutytė-Kašponienė – bežemiai valstiečiai, kumečiai. Užaugo trijų vaikų šeimoje, buvo vidurinysis, dar du vyresnieji ir keli jaunesni vaikai (Vincas, Petras ir kt.) mirė kūdikystėje. Brolis Jonas Kašponis, sesuo Angelė Kašponytė-Labakojienė.

Tėvams persikėlus, nuo 1896 m. augo Kriaunų dvare (Rokiškio r.), vėliau iki 1900 m. – Obelių dvare (Rokiškio r.). Vaikystėje susižavėjo muzika, apie 1900 m. klausydamasis Kipro Petrausko giedojimo Obelių bažnyčioje. Nuo 1900 m. gyveno Kazimierės dvare (Subatė, Latvija). 1905–1906 m. mokėsi vargonuoti pas Subatės (Latvija) bažnyčios vargonininką A. Raubiško.

1906–1910 m. B. Kašponis vargonininkavo ir vadovavo chorams Latvijoje: Rubenių (Rubeni), Rezeknės (Rezekne), Dukstigalo (Melnais Dukstigals) bažnyčiose ir Zuosnos (Zosna) koplyčioje.

Grįžęs į Lietuvą, 1910–1913 m. jis gyveno Kaune, buvo Kauno kunigų seminarijos Švč. Trejybės bažnyčios vargonininko Mykolo Antanaičio padėjėjas, lankė Juozo Naujalio vargonininkų kursus, pas Teodorą Brazį mokėsi harmonijos, lankydamas "Saulės" mokytojų kursus mokėsi ir smuikuoti. 1911 m. Kaune pradėjus statyti "Saulės" draugijos namus, į jų pamatus buvo įdėtas aktas, kurį "Saulės" mokinių vardu pasirašė B. Kašponis.

1911–1913 m. jis vargonininkavo Kauno kunigų seminarijos bažnyčioje, taip pat ir seminarijos rektoriaus Jono Mačiulio-Maironio pamaldų metu. B. Kašponio vargonavimą, grigališkąjį giedojimą ir improvizavimą yra pagyręs J. Naujalis, ne kartą lankęsis ir vargonavęs seminarijos bažnyčioje.

1913 m. išvykęs į Maskvą (Rusija), B. Kašponis, savarankiškai pasiruošęs, išlaikė vaistininko mokinio egzaminus iš keturių klasių kurso ir toliau ruošėsi studijoms kunigų seminarijoje, bet negavo leidimo, nes nebuvo baigęs valstybinės mokyklos.

1913 m. rudenį B. Kašponis buvo mobilizuotas į karinę tarnybą carinės Rusijos kariuomenėje, pradėjo karinę tarnybą Sevastopolyje (Krymas, Ukraina), paskui buvo paliktas tarnauti ir Pirmojo pasaulinio karo metais, perkeltas į Galiciją (Vakarų Ukraina). Vėliau jis buvo daliniuose, dalyvavusiuose karo veiksmuose prie Gnaso ir Kohlbergo (Austrija) bei prie Varšuvos (Lenkija).

1919 m. jis grįžo į Lietuvą, dirbo vargonininku, o nuo 1919 m. rugsėjo – ir mokytoju valstybinėse mokyklose. 1919–1920 m. jis buvo Naujamiesčio (Panevėžio r.) pradžios mokyklos mokytojas, 1920–1923 m. – mokytojas Karsakiškyje (Panevėžio r.). Dienomis jis dirbo špitolėje įrengtoje mokykloje, o vakare mokė beraščių ir mažaraščių kursuose ir žemės ūkio klasėse. Kartu B. Kašponis buvo ir Karsakiškio bažnyčios vargonininkas, šalia bažnytinio choro repertuaro vietinius gyventojus jis mokė dainuoti ir liaudies dainas, su choru dalyvaudavo vakaruose-koncertuose.

1922 m. jis baigė Panevėžio mokytojų seminariją ir įgijo jaunesniojo mokytojo cenzą.

1923–1945 m. B. Kašponis gyveno Surdegyje (Anykščių r.) ir buvo Surdegio pradžios mokyklos vedėjas bei dainavimo mokytojas.

B. Kašponis buvo aktyvus visuomenininkas, vadovavo Surdegio jaunųjų ūkininkų rateliui bei buvo jo globos tarybos narys, buvo Surdegio pieno perdirbimo bendrovės revizijos komisijos narys, vienas iš Surdegio galvijų kontrolės ratelio – Lietuvos centralinės galvijų kontrolės sąjungos Surdegio skyriaus – steigėjų (1927 m.), Vilniui vaduoti sąjungos Surdegio skyriaus komiteto pirmasis pirmininkas (1935–1936 m.). Jis buvo šaulys, Lietuvos šaulių sąjungos XII Panevėžio rinktinės XIV Surdegio būrio narys. 1935 m. B. Kašponis mėgino įsteigti Surdegio ugniagesių komandą.

Jis rašė apie Surdegio gyvenimą Panevėžio apskrities laikraščiui "Mūsų kraštas", pasirašydamas pavarde arba slapyvardžiais "Mokyt. B. K." ir "M. K.". Jis paruošė ir tame leidinyje paskelbė pirmą Surdegio kraštotyros apžvalgą "Surdegis" (1930 m. rugpjūčio 21–28 d.). 1930 m. jis pasiūlė "Dienos" laikraščiui įvesti politinio, socialinio ir ekonominio gyvenimo savaitinę kroniką.

Iki Antrojo pasaulinio karo B. Kašponis buvo įsigijęs Bukonių dvarelį (Kupiškio r.) ir ten organizavo ūkinę veiklą, samdydamas vietinius darbininkus.

1945–1957 m. B. Kašponis dirbo Kupiškyje. Nuo 1945 m. rudens jis buvo Kupiškio pradinės mokyklos vedėjas, rusų kalbos ir dainavimo mokytojas, kiek laiko ėjo ir Kupiškio valsčiaus Liaudies švietimo skyriaus vedėjo pareigas. Vėliau jis dirbo Kupiškio vidurinėje mokykloje bei suaugusiųjų vakarinėje mokykloje lietuvių ir rusų kalbų mokytoju. 1956–1957 m. jis vadovavo mokytojų instrumentiniam ansambliui, kuris koncertavo Panevėžyje ir Rokiškyje, 1956 m. respublikinėje meno mėgėjų apžiūroje laimėjo trečiąją vietą.

Išėjęs į pensiją, 1957–1962 m. jis gyveno Kupiškyje. Pablogėjus sveikatai, nuo 1962 m. iki gyvenimo pabaigos senatvę praleido Vilniuje, kur gyveno jo vaikai.

Jis parašė atsiminimų knygą "Memuarai", kurią paliko rankraščiuose.

B. Kašponis buvo apdovanotas Vytauto Didžiojo ordino 3-ojo laipsnio medaliu (1931 m.), Lietuvos Nepriklausomybės 10-mečio medaliu (1928 m.), medaliu "Už šaunų darbą Didžiajame Tėvynės kare 1941–1945 m." (1945 m.). Jam buvo suteiktas Lietuvos SSR nusipelniusio mokytojo garbės vardas (1958 m.).

Laisvalaikį skyrė muzikai, buvo subūręs ir savo šeimos instrumentinį kvintetą, su juo pasirodydavo ir koncertuose. Mokėjo penkias kalbas.

Vedė 1928 m. birželio 28 d. Surdegyje, žmona Marijona Kubilinskaitė-Kašponienė (1901–1996) – pedagogė pradinių klasių mokytoja, visuomenininkė. Išaugino tris sūnus: Karolis Rimtautas Kašponis (1933–2018) – mokslininkas muzikologas, muzikos pedagogas, chorvedys, Česlovas Algimantas Kašponis (1935–2004) – inžinierius hidrotechnikas ir Kazimieras Jaunius Kašponis (1937–2000) – ekonomistas. Pirmagimis sūnus Raimondas Kašponis (1931–1931) mirė kūdikystėje.

Mirė 1973 m. spalio 6 d. Vilniuje. Palaidotas Surdegio (Anykščių r.) kapinėse šeimos kape.

Mokslininkas bibliografas Osvaldas Janonis parengė ir "Kupiškėnų bibliotekos" serijoje atskira knyga išleido B. Kašponio memuarus "Mokytojo ir vargonininko atsiminimai" (2018 m.).