Kazimierz Gurda urodził się 20 sierpnia 1953 roku w Książnicach Wielkich. Pochodzi z rodziny, która dała wcześniej Kościołowi dwóch kapłanów: zmarłego w 1993 roku kieleckiego biskupa pomocniczego Jana Gurdę oraz ks. infułata Józefa Gurdę. Po ukończeniu w 1972 roku Liceum Ogólnokształcącego w Proszowicach rozpoczął studia w Wyższym Seminarium Duchownym w Kielcach. Święcenia prezbiteratu przyjął 11 czerwca 1978 roku z rąk biskupa Jana Jaroszewicza. Był wikariuszem w Pińczowie i Bielinach, następnie kontynuował studia w Instytucie Patrystycznym Augustinianum przy Uniwersytecie Laterańskim w Rzymie gdzie uzyskał w 1988 stopień doktora.
Od 1989 roku rozpoczął wykłady z patrologii i języka łacińskiego w Wyższym Seminarium Duchownym w Kielcach, jednocześnie będąc ojcem duchownym alumnów. W 1996 roku został proboszczem parafii św. Józefa w Zagnańsku. W czerwcu 1998 roku został rektorem kieleckiego seminarium.
18 grudnia 2004 papież Jan Paweł II mianował go biskupem pomocniczym diecezji kieleckiej. Sakrę biskupią przyjął 5 lutego 2005 roku w Bazylice Katedralnej w Kielcach z rąk biskupów: Kazimierza Ryczana, Edwarda Materskiego i Mariana Florczyka.
Decyzją papieża Franciszka 16 kwietnia 2014 został przeniesiony na urząd biskupa diecezjalnego diecezji siedleckiej. 24 maja 2014 odbył się jego ingres do katedry w Siedlcach.