Primer Conde de Lemos

Tras la disolución de la Orden del Temple, Fernando IV requisa todos sus bienes que, a su muerte, pasarán a manos de su sucesor Alfonso XI. De manos del rey, Pedro Fernández de Castro asume el señorío de Ponferrada en 1340 y dará comienzo a la construcción, en un extremo de la fortaleza, del Castillo Viejo con la Torre del Homenaje Viejo. Su escudo familiar permanece entre sus piedras. El resto del espacio interior amurallado estaría conformado por un complejo conjunto de edificios habitados por vasallos y gentes de armas.

La falta de sucesión hace que los bienes reviertan nuevamente en la Corona de donde pasarán al Duque de Arjona, el cual dejará constancia de su presencia en el Castillo Viejo con la construcción de una nueva torre: Torre del Duque de Arjona.

Pero el más importante de todos cuantos señores habitaron en el Castillo fue sin duda Pedro Álvarez Osorio, primer Conde de Lemos.

En su propio beneficio, se casó con Beatriz de Castro, heredera del duque de Arjona. Siendo dueño del señorío de Ponferrada, acometería durante el siglo XV la mayoría de las ampliaciones del Castillo:

• Durante el siglo XV se levantarán las cinco torres actuales: Moclín, Caracoles, Cabrera, Malvecino y Malpica.
• La entrada principal con todo su sistema defensivo.
• Las rondas de la muralla, la mina y cueva de acceso al río Sil (Cueva la Mora).
• La Torre del Homenaje en el Castillo Viejo.
• La construcción del Palacio Nuevo para su uso como dependencias señoriales. Parte del mismo se cimienta sobre antiguos restos templarios del siglo XII.

La muerte de su primera esposa, Beatriz de Castro, y de su único hijo Alonso Osorio, deja al Conde de Lemos sin descendientes reconocidos. De su segundo matrimonio con María de Bazán nacerán cuatro hijas, la primogénita comprometida con el hijo de su mayor enemigo, el Conde de Benavente.

Este hecho hizo que el conde reconociera como heredero legítimo a Rodrigo, nieto suyo e hijo bastardo del difunto Alonso Osorio. Con el fin de reclamar su herencia, le otorgó a Rodrigo el distintivo de la Tau, que permanece labrado en diferentes partes del Castillo, entre ellas el arco de entrada.

Durante los siglos XIV-XV diversos problemas económicos y sociales hacen que el Camino pierda el esplendor de siglos anteriores. Las guerras, la peste y el hambre sumirán a Europa en la desolación y pobreza y el número de peregrinos descenderá notablemente.