Lo primero que nos llama la atención del sistema defensivo del Castillo de los Templarios es su imponente portada principal o también llamada Puerta del Puente Levadizo. Todo parece indicar que debió existir una primera torre delante del puente levadizo, que salvaba el foso y protegía el acceso a la entrada al Castillo.
Forman parte de su sistema defensivo sus cinco torres, de las cuales destacamos su acusada personalidad y las diferencias existentes entre ellas, así como el hecho de que cada una tenga nombre propio. Entre todas ellas destacamos la Torre de los Caracoles. La encontramos, nada más acceder a la fortaleza, a nuestra izquierda. Sobre su arco o puerta de acceso permanece un grabado en latín de la época del Conde de Lemos: “Nisi Dominus custodierit civitatem frustra vigilat qui custodit eam” (Si el Señor no protege la ciudad, en vano vigila quien la guarda).
Lo más visible y como sistema defensivo son sus muros o rondas, que en Castillo de los Templarios se dividen en tres: Ronda Baja, Ronda Alta y Ronda del Sil, ocupando esta última el flanco que limita con el río Sil. En esta última ronda mando construir el Conde de Lemos un acceso protegido para llegar hasta el río con el objetivo de garantizar el aprovisionamiento de agua en el interior del Castillo en caso de asedio. Acceso conocido como Cueva de la Mora.
Es habitual a lo largo de la fortaleza encontrarnos con diversos matacanes, troneras y saeteras. Lo que hoy se nos presenta como algo estético en la monotonía de las murallas y paredes de piedra, en su día se construyó como parte del sistema defensivo del Castillo.
Las saeteras eran huecos de tiro a través de los cuáles lanzaban las flechas contra el enemigo al tiempo que se protegían de sus ataques.
Las troneras están acompañadas de saeteras. Tiene forma circular para facilitar la proyección de piezas de artillería. En el Castillo de los Templarios encontramos troneras unidas a los huecos de las saeteras, separadas de estas y con mirilla en forma de cruz.
Los matacanes completan a grandes rasgos las principales obras de protección del Castillo. Son construcciones en forma de voladizo en lo alto de un muro o torre y en cuya parte inferior se aprecia una apertura desde donde las gentes de castillo podían protegerse lanzando piedras o vertiendo agua hirviendo. Son fácilmente reconocibles en la entrada al Castillo de los Templarios, sobre y a ambos lagos de la puerta de acceso principal.