Ponferrada corresponde a la antigua Intermanio Flavia , mansión del itinerario romano, en el camino de Astorga a Braga. A fines del s. XI el obispo de Astorga, Osmundo puso armaduras de hierro al antiguo puente romano, perjudicado muchas veces por las avenidas del Sil, y la población que se edificó junto al puente se llamó Ponferrada.

Existía ya, sin embargo, la ciudadela romana que los templarios aprovecharon en el año 1178 al pasar a depender Ponferrada de esta orden por donación de los reyes de León, con el magnífico castillo colocado al extremo occidental de la ciudad dominando el arrabal y la hermosa cuenca del Sil, hasta la extinción de la orden a principios del siglo XIV. Más tarde la ocupó el poderoso noble gallego conde de Lemos, que la restauró en parte.

El Castillo que hoy conocemos es el resultado de una larga serie de ampliaciones, reformas y añadidos que van desde la primera cerca de la planta cuadrada de principios del siglo XII, hasta las últimas zonas construidas a finales del siglo XV y principios del XVI. Posteriores incorporaciones, como las caballerizas en 1848, y las numerosas reformas llevadas a cabo desde principios del siglo XX, han contribuido a la complejidad del conjunto, tal y como lo conocemos hoy en día. Los escudos y blasones de quienes lo ocuparon y contribuyeron en su construcción son prueba de sus diferentes etapas.