A vila real da Vilanova de Sárria estaba gobernada por un concello de homes bos e tiña “voto en Cortes” e o Condado e a Fortaleza eran concedidos polo rei a “tenentes” mentres gozaban do favor real, o que daba lugar a mudanzas na titularidade de maneira que os señores da fortaleza sarriá podían señorear o Condado de Sárria, xunto con outras terras como Trastamara, Montenegro, a Limia ou Lemos, dependendo sempre de contar coa graza do príncipe, moi mudable por outra parte.
A tenza do Condado e das súa rendas, entre elas o dereito de castelaxe, recaían moitas veces en membros da familia real, e mesmo se deron como pagamento de favores, tal foi o caso do bretón Bertrand Duguesclin, que sucedeu no título ao Conde Henrique de Trastamara, que lle arrebatara a coroa real ao seu irmán don Pedro.

O labor de protección e seguridade nos camiños aparece reflectido nas cartas forais dadas por Afonso IX ás vilas novas por el creadas.
A Fortaleza de Sárria, alzada nas primeiras décadas do século XIII estivo en pé ata o ano 1860, cando a acción conxunta do Concello de Sárria, o propietario liberal, Manuel Pérez Batallón, e as familias podentes da vila, botaron por terra a edificación militar ao mercaren o seu soar e a pedra das murallas e cercas.
Na Revolta irmandiña xa fora derrubada polas hostes populares alzadas en armas, e pouco despois foi refeita gravando aos vasalos coa obriga de concorreren ás obras con materiais e traballo. Os Reis Católicos aportaron diñeiro da Santa Irmandade para novas obras e en 1610 houbo que refacer unha das torres de flanco.
A Fortaleza
A Fortaleza tiña unha Torre da Homenaxe, a Torre do Mercado e torres de flanco, e darredor había foxos e contrafoxos de boa profundidade. No interior había varias casas de habitación e os sotos estaban destinados a albergar a “cadea” onde penaban oCons condeados por delictos. Foi tamén lugar de residencia dos meiriños e correxedores, e era onde se xuntaba a Xustiza e Rexemento da vila.
Como cabeceira das Cinco Pobras, os vasalos de Adai, Triacastela, etc tiñan que concorrer a manter en bo estado a Fortaleza, se ben houbo varios pleitos para escapar desa obriga.

Ademáis de ser bastión contra irados e malfeitores a Fortaleza tamén xogou un bo papel na acollida de peregrinos, e pasaxeiros destacados e mesmo, cando pola vila pasou Carlos I, camiño de Flandes, viuse a posibilidade de celebrar nela as Cortes que finalmente se reuniron na Coruña, diante da pouca capacidade de acollida de procuradores e séquito que a Pobra de Sárria presentaba.
A Fortaleza ocupaba perto dunha hectárea e estivo habitada ata o primeiro terzo do século XVIII.
Os Condes de Lemos tamén Condes de Sárria
A Pobra de Sárria, concedida aos Condes de Lemos no século XIV, correu en materia de señorío camiño diferente ao da Fortaleza, e non foi ata o tempo dos Reis Católicos cando esta pasou a ser propia dos Condes de Lemos, que reuniron o título de Condes de Sárria ao título familar. Carlos I , estando en Barcelona, concedeulle ao primoxénito dos Condes de Lemos o título de Marqués de Sárria, esmorecendo así a antiga denominación de “Condes de Sárria” que se mantivera por máis de 400 anos.
Finalmente a Fortaleza acabou pertencendo aos Duques de Alba, e en 1860 foi derrubada, mantendo un dos compradores, Manuel Pérez Batallón, a Torre que como soberbo miradoiro se alza dentro da Horta da Casa de Cima de Vila ou Casa de Batallón. Para moitos a Torre da Fortaleza é un dos sinais máis repretativos do noso pasado.