Una conocida leyenda (de la que se ha hablado mucho sin duda para dar publicidad al parador ubicado en el castillo), es la de la amante del Condestable Iranzo.

Se trata del condestable del reino de Castilla bajo las órdenes de Enrique IV en el siglo XV que realizó importantes remodelaciones en la ciudad de Jaén.

Al parecer el condestable estaba locamente enamorado de una muchacha musulmana que a su vez lo amaba a él con locura.
El amor que ambos se profesaban era tal que los súbditos estaban terriblemente celosos de ella pues opinaban que el hombre desatendía por su culpa sus funciones.
Encontrándose ausente el condestable, algunos hombres abordaron a la mujer, la violaron y después prendieron fuego a su cuerpo, acabando así con su vida y con la del hijo que ella esperaba.

Se dice que en la habitación que en su día ocupara la mujer se escuchan sus lamentos desesperados mientras arrastra y golpea los muebles.
Algunos huéspedes y trabajadores del parador aseguran que la han visto.
El fantasma, celoso, se interpone cada vez que alguien intenta realizar un retrato de su amante.