Fue levantado sobre los restos del antiguo Castillo de Bailén, construido por Abderramán I en el s. IX, sobre un monasterio visigodo. Desde 1349 perteneció a la familia Ponce de León, primeros Condes de Bailén, hasta que fue adquirido por la familia minera de los Bonaplata, quienes en 1893 lo vendieron al Ayuntamiento, que instaló sus dependencias hasta 1930.