Es la fortaleza más antigua en la provincia, corresponde al año 714.

Juntamente con los castillos de Alarcón, Uclés, Huete, Cuenca y Húelamo, el castillo de Al-Qala o de Serreilla (nombre que le viene del antiguo asentamiento cristiano anterior a los musulmanes), forma el conjunto de fortificaciones importantes de la provincia.

En este lugar de la antigua Serreilla han aparecido y aparecen enterramientos cristianos visigodos enriquecidos con estelas funerarias de los siglos IV-VIII.

Todos los demás restos musulmanes de la provincia son obras menores surgidas tras los Reinos Taifas para protección de dichas fortalezas o sus caminos.

Alcalá de la Vega conserva los restos de la fortaleza musulmana de Al-Qala, levantada a principios del siglo VIII sobre un primitivo asentamiento cristiano que se llamaba Serreilla.

Se encuentra equidistante de dos castillos importantes, Albarracín y Alpuente, que fueron Reinos Taifas. Entre ellos había una serie de castillos menores siguiendo el cauce de los ríos Turia y Ebrón, como son: Santa Cruz, Ademuz, Castellfabib, El Cuervo y Tormón. Fuera de esta ruta, la del Turia, «in extremis sarracenorum» había un castillo, el de Serreilla, sólo localizable identificándolo con el de Alcalá. La importancia de este castillo se desprende del hecho de que tuviera en sus cercanías y para su custodia, vigilancia y servicio los castillos menores de Farhän (Algarra), Boniches y Las Malenas, estratégicamente colocados para custodiar las rutas de Levante y Centro. Era más que castillo, era Qala, fortaleza.