A lo largo de la historia reyes e infantes se han disputado la propiedad en el Castillo de los Templarios.
El maestre entrega el Castillo al infante Felipe
La orden dictada por el papa Clemente V amenaza con la extinción de los templarios. amparado en la orden papal, el rey Sancho IV ordena a los templarios la entrega de sus posesiones. Por tal motivo el maestre del Temple, Rodrigo Yánez, acude a ver a la reina y le promete la entrega de los castillos vencido un plazo.
Tras esta reunión el maestre acude a ver al infante Felipe en Galicia y le entrega, junto con otras posesiones, la fortaleza de Ponferrada. Hecho al que se opone Fernando IV, tío del rey. Ante esto interviene la reina, María de Molina, y pide a su hijo Felipe que entregue las posesiones que le han dado los templarios en favor de su padre. Así lo hace Felipe y en octubre de 1310 Ponferrada es entregada al infante don Juan.
Sucesión de reyes e infantes en el Castillo
Tras la muerte del infante Juan en 1319, pasan sus posesiones a su primogénito Juan el Tuerto. Reina por entonces Alfonso XI, que ordenará matar al nuevo dueño del Castillo y se hará con todos sus bienes. Parte de las posesiones las entregará el rey al noble gallego Alvar Núñez Osorio. Su posesión durará poco tiempo. Años más tarde el rey ordenará su muerte y las confiscará de nuevo sus posesiones.
En 1340 el rey Alfonso XI dona Ponferrada y el Bierzo a Pedro Fernández de Castro. Tras la muerte de este Ponferrada pasaría a su hija, Juana de Castro.
Mientras la corona ha cambiado de manos, pasando de Alfonso XI a su heredero Enrique II. Tras Juana de Castro el Castillo pasará al infante Fadrique Castilla, hijo bastardo del rey. La revuelta de este contra el rey le costará la vida y sus posesiones pasarán a Pedro Enríquez, casado con una descendiente del linaje de los Castro. Años más tarde su heredero, Fadrique Enríquez, se haría con el Castillo y alimentaría su leyenda negra como duque de Arjona.
Su hermana Beatriz de Castro se casaría con Pedro Álvarez Osorio, primer Conde de Lemos. Ambos ocuparía posteriormente el Castillo de Ponferrada acometerían gran parte de sus obras.