Motina Emilija Čekavičiūtė-Veselkienė (1929–2020).

1956–1960 m. mokėsi Kauno 18-ojoje pradinėje mokykloje, 1960–1965 m. – Kauno 4-ojoje aštuonmetėje mokykloje, 1965–1966 m. – Kauno Salomėjos Nėries vidurinėje mokykloje. Mokykliniais metais jis patarnavo Kauno Šv. Antano Paduviečio parapijos bažnyčioje.

1967–1970 m. Ž. Veselka dirbo Kauno automatizacijos priemonių gamykloje ir Kauno radijo gamykloje šaltkalviu. 1970–1972 m. jis atliko privalomąją karinę tarnybą sovietinėje kariuomenėje, 1972–1976 m. toliau dirbo Kauno radijo gamykloje šaltkalviu. 1974–1976 m. jis baigė Kauno 5-ąją neakivaizdinę vidurinę mokyklą.

1976–1982 m. jis studijavo Kauno tarpdiecezinėje kunigų seminarijoje.

1982 m. birželio 6 d. Kauno arkikatedroje vyskupas Liudvikas Povilonis Ž. Veselką įšventino kunigu.

1982–1984 m. jis tarnavo Kauno Švč. Jėzaus Širdies (Šančių) parapijoje vikaru. Paskirtas 1984 m. gegužės 23 d., 1984–1985 m. jis buvo Kelmės parapijos vikaras.

Perkeltas 1985 m. sausio 24 d., 1985–1986 m. Ž. Veselka tarnavo Ukmergės parapijoje vikaru, nuo 1985 m. gegužės 25 d. kartu ėjo ir Bukonių (Jonavos r.) parapijos administratoriaus pareigas.

Paskirtas 1986 m. rugpjūčio 1 d., 1986–1998 m. Ž. Veselka buvo Kurklių (Anykščių r.) Šv. Jurgio parapijos klebonas ir Užunvėžių (Anykščių r.) Švč. Mergelės Marijos parapijos klebonas.

Gyvendamas ir tarnaudamas Kurkliuose, jis aktyviai dalyvavo Lietuvos Atgimimo renginiuose, buvo Kurklių Sąjūdžio rėmimo grupės pirmininkas. 1989–1991 m. Ž. Veselka vienintelis iš Anykščių rajono dvasininkų buvo išrinktas Sąjūdžio Anykščių rajono tarybos nariu.

1990 m. rudenį jis atnaujino tikybos pamokas Kurklių mokykloje ir iki 1998 m. buvo tikybos mokytojas.

Paskirtas 1998 m. balandžio 22 d., 1998–1999 m. jis buvo Vandžiogalos (Kauno r.) Švč. Trejybės parapijos klebonas.

Perkeltas 1999 m. balandžio 6 d., 1999–2006 m. Ž. Veselka buvo Babtų (Kauno r.) Šv. apaštalų Petro ir Povilo parapijos klebonas bei Panevėžiuko (Kauno r.) Nukryžiuotojo Jėzaus parapijos klebonas, aptarnavo ir Muniškių (Kauno r.) Nukryžiuotojo Jėzaus koplyčią.

Paskirtas 2006 m. gegužės 26 d., 2006–2022 m. Ž. Veselka buvo Butkiškės (Raseinių r.) Šv. Jono Krikštytojo parapijos klebonas ir Juodaičių (Jurbarko r.) Nukryžiuotojo Jėzaus parapijos klebonas.

2022 m. birželio 24 d. dėl silpstančios sveikatos jis buvo paskirtas Jurbarko Šv. Trejybės parapijos altarista, bet į Jurbarką neišvyko, iki gyvenimo pabaigos, kiek jėgos leido, liko tarnauti Butkiškėje ir Juodaičiuose.

Amžininkų prisiminimuose išliko kaip griežtas ir principingas dvasininkas, domėjęsis bažnyčios naujovėmis.

Mirė 2023 m. birželio 19 d. Kaune. Palaidotas Kauno Panemunės kapinėse (4 kvartalas, 13 eilė, 9 kapas) šalia artimųjų. Kapą ženklina šeimos paminklinis akmuo, kuriame iškaltas įrašas: "Čekavičių šeima / Emilija Veselkienė 1929–2020".