Conocida como La Fortaleza, se levanta al sudoeste de la población, alejado del río, con el fin de defender el espacio que la orografía deja al descubierto.
Sus orígenes se remontan a tiempos de Fernando II de León (s. XII), si bien adquiere la forma definitiva con el primer Conde de Ledesma, Don Beltrán de la Cueva, en el siglo XV; este noble otorga escudo a la villa, como puede apreciarse en la puerta norte de la edificación.
Resulta imponente la imagen del castillo, apoyado sobre la roca granítica que le da solidez. El recinto es de planta irregular, trapezoidal, y está construido en mampuesto y sillares de granito.
Hacia el sur, el conjunto resulta muy armonioso, totalmente pétreo, con una puerta de arco apuntado flanqueada por dos torreones.
Adosado a la muralla de Ledesma siempre ha sido lugar de encuentro de la villa, al completarse con una plaza ajardinada que le da acceso. Tras las últimas restauraciones se ha convertido en lugar de celebración de diversas actividades, mercados, etc.; de hecho es el escenario de las celebraciones festivas que tienen lugar por El Corpus.
De las ocho puertas que tuvo, la única que se conserva en la actualidad es la denominada de los Mártires, San Nicolás o Caldereros. Formada por dos arcos peraltados, se encuentra encuadrada exteriormente por dos cubos cilíndricos.
El patio de armas de su castillo-fortaleza fue levantado en el extremo sudoeste del recinto amurallado entre los siglos XIII y XIV. De planta trapezoidal irregular, presenta dos puertas de acceso: la norte, presidida por el escudo de la Villa, y la sur, flanqueada por dos grandes torreones. Fue declarado Bien de Interés Cultural en 1949
