En el año 936, Abd al-Rahman III, primer califa de Al-Andalus, decidió fundar una ciudad en las últimas estribaciones de Sierra Morena, al oeste de Córdoba, como centro y representación del nuevo califato. Las fuentes musulmanas señalan que en la construcción de Madinat al-Zahra llegaron a trabajar 10.000 obreros. A diario se colocaban 6.000 sillares y se gastaban cerca de 400 cargas de yeso y cal, transportadas por 1.500 acémilas.

En el año 941 se inaugura la mezquita aljama, mientras que el traslado del califa y los distintos órganos del Estado se produjo en el 945.

Las comunicaciones con Córdoba se realizaron mediante una importante infraestructura viaria de la que conocemos, al menos, dos caminos. Uno de ellos, del que aún quedan restos visibles, daba acceso directo al Alcázar por su lado norte; el otro penetraba en la ciudad por su frente meridional.

El lujo y la belleza de la ciudad causaron admiración y asombro entre cuantos la contemplaron en su época de esplendor. Su existencia, sin embargo, fue muy breve: entre los años 1010 y 1013, con escasos 75 años de vida, se consumaba su destrucción como consecuencia de las guerras que pusieron fin al califato y a la dinastía omeya en la Península.

Tras la destrucción y el expolio de sus materiales, que alcanza hasta el pasado siglo, Madinat al-Zahra cae en el olvido y sus restos pasan a ser conocidos con el nombre de "Córdoba la Vieja".

En 1911, con las primeras excavaciones se produce su redescubrimiento. Fue declarado Conjunto Arqueológico por el Decreto 126/1989, de 6 de junio, por el que se crea el conjunto arqueológico de Madinat Al-Zahra, como unidad administrativa, que fue derogado por el Decreto 293/1997, de 23 de diciembre, por el que se regula la organización y funcionamiento del Conjunto Arqueológico de Madinat Al-Zahra, que es el que actualmente regula el Conjunto.