Está en un espolón rocoso a 1.090 metros de altura siendo el castillo más alto de la provincia de Jaén. Se distinguen dos fases constructivas. En la cima hay unos muros de mampostería de tamaño irregular que delimitan un pequeño recinto al que está asociado un aljibe que conserva aún restos de la bóveda apuntada de cubrición. Más abajo, hay restos de otras construcciones de más envergadura, un auténtico castillo flanqueado por torres de mampostería de sillares en los ángulos y muros que cierran el recinto. La comunicación entre ambos ámbitos se efectúa a través de un pasadizo cubierto por una bóveda de medio cañón, también de mampostería, y que conserva restos de enlucido.

Toda la construcción se monta encima de la roca que le sirve de cimentación. Los paramentos originales que presentan un fuerte deterioro, se encuentran enmascarados por remodelaciones recientes.

Desde el Castillo de Solera, de origen nazarí se pueden contemplar espléndidas vistas de la Vega en la que confluyen el río Jandulilla y el río Gargantón, así como el pueblo de Bélmez de la Moraleda y el Torreón del Lucero, el cual da una idea del sistema defensivo que tenían estas tierras en épocas pasadas.