El plano del castillo, con forma de triángulo irregular, se adapta a la meseta del cerro de San Marcos, está inclinado hacia el este y escarpado de forma natural por el norte. 

El recinto del castillo de La Guardia se encuentra estructurado en dos espacios individualizados y bien definidos: el alcázar y la alcazaba. 

Situado en la esquina noroeste del recinto, se encuentra el alcázar, obra tardía del siglo XV, reformado y ornamentado en el siglo XVI. Es de planta rectangular y está defendido por cuatro torres de diferente fisonomía, una torre circular, dos torres cuadradas y la torre del homenaje, que se adaptan a la orografía. Lo rodean lienzos de muralla fabricados con mampostería unida por mortero de cal y esquinas reforzadas, a veces redondeadas, con sillería a soga y tizón.

La torre circular, localizada en la esquina suroeste, es una construcción islámica construida en mampostería, de la que parten dos lienzos de muralla elaborados con tapial de tierra sobre basamento de mampostería. Tiene una estructura con tres niveles: Los dos primeros habitables, están cubiertos por sendas bóvedas de media naranja y se comunican entre sí mediante una escalera embutida en el muro de la torre. La sala intermedia contaba, además, con vanos que permitían el tránsito y la comunicación entre torres y adarves. 

En la esquina sureste encontramos otra torre, de planta cuadrada y de pequeñas dimensiones recubierta con una bóveda de cañón. 

La torre que ocupa el extremo noreste presenta planta rectangular estructurada en dos niveles, el inferior está muy alterado por las restauraciones recientes, y el superior cubierto con una bóveda de cañón apuntada con arcos fajones. 

Finalmente, el extremo noroeste estaba defendido por la Torre del Homenaje, de unos 35 metros de altura, que tiene planta cuadrada dividida en tres cuerpos. El nivel inferior es macizo y se adapta a la roca geológica en la que se apoya. El segundo nivel está cubierto por una bóveda gajada, configurando un espacio interno de planta octogonal, con varias aspilleras, actualmente transformadas en balcones miradores. Al tercer nivel y a la terraza almenada se accedía a través de una escalera embutida en sus muros y cubierta con pequeñas bóvedas de cañón. La estancia que se abre en el tercer nivel estaba cubierta con una bóveda de nervios, iluminándose con cuatro vanos o aspilleras. 

Dentro del alcázar hay dos aljibes enclavados en el sector más meridional, de diferentes épocas y fueron construidos con diferentes técnicas constructivas. Uno, de época islámica, construido en tapial de cal y grava, y el otro, adosado al anterior y construido durante la conquista castellana, encontramos gruesos muros de mampostería.

El recinto murado de la alcazaba data del siglo XIII. Las murallas presentan un trazado zig-zag o cremallera que hace innecesaria la adición de torres para su defensa. En el lado norte solo existía un parapeto asomado al escarpe.

En todo el trazado, solo hay una torre construida en el lienzo oriental, destinada a la defensa de la puerta de acceso al conjunto. Para acceder a la fortaleza se creó un camino que, adosado a las murallas, llegaba hasta las inmediaciones de la puerta, y una vez atravesada esta, se ingresaba en un espacio cerrado de planta rectangular, que impedía el acceso directo al recinto interior. 

La entrada principal a la fortaleza se realizaba por una monumental puerta tardogótica, construida en el siglo XVI. La puerta, ornamentada con las armas de Mexía Carrillo, es de gran belleza y originalidad, y daba acceso a un amplio patio de armas que en época medieval albergaría a la escasa población del lugar o a gran parte de ella.

En el patio de armas se encuentran los restos de la iglesia parroquial de Santa María, levantada en el XVI, de planta rectangular, con seis capillas laterales, y su ábside aprovecha la única torre que existía en todo el recinto amurallado de la alcazaba. A este edificio se le adosa una torre-campanario de nueva planta. 

Aparte de estos edificios de uso residencial y palaciego, las excavaciones arqueológicas realizadas en el interior del conjunto, han documentado una serie de dependencias construidas en los siglos XVI y XVII, como bodegas, almacenes, patios de tránsito, pasillos y cocinas, cuyo objetivo era el de dotar al Castillo-Palacio de áreas de servicio.