Este castillo alcanzó en época del Condestable Iranzo el nivel de segundo rango, jugó un papel importante al tomar partido, como Andújar, por el bando realista cuando en 1465 los enemigos del rey pusieron sitio a Jaén, y se hizo famoso cuando, seis años después, el alcaide Diego Frías detuvo y mandó encerrar en su torre a un rival del Condestable, don Fernando de Acuña, hijo del conde de Buendía y nada menos que sobrino del arzobispo de Toledo.
En realidad el castillo, de pequeñas dimensiones, lo formaba una torre cilíndrica con remate de parapeto almenado, tal como la dibujó Martín de Ximena Jurado. Una piedra de la torre superior parece que tenía una inscripción, probablemente árabe. De esta torre no ha quedado ni rastro en el pueblo. Sin embargo la cabecera de la iglesia presenta un cerramiento que podría corresponder a restos del castillo. Este sólido muro semicircular de mampostería pudo ser reaprovechado a partir de una torre redonda de grandes proporciones, hermana de las de los castillos de Rus y El Mármol, en tierras de Baeza.
Este torreón fue declarado Bien de Interés Cultural en 1985.