El Castillo-refugio del siglo XIV es un recinto fortificado con una torre cuadrada en cada esquina que le dan un aire de mansión feudal; constituye una de las pocas fortalezas de la provincia emplazadas en llano. Su planta es un cuadrilátero de unos treinta y cinco metros de lado, con torres en las esquinas de diferente conservación; una de ellas, se mantiene entera con cuatro hileras de saeteras, con la particularidad de que sus lados están girados unos 45" respecto a los lados del recinto.
"En la Fortaleza de Visiedo vuelve a vibrar la vida. Si pone la cabeza sobre sus muros, ¡a oyes palpitar. Te lanza al infinito destino. Te hace ir aprendiendo que la historia es una inmensa y profunda compañía que te rodea con sus brazos. No vemos los rostros pero sentimos su abrazo, esa energía Castillo que todo lo transforma. ¿Es una quimera sentir cómo la sangre
corre por las piedras? En Visiedo he comprendido que todo era verdad bajo sus muros. Se captan todas las cosas como se funde un fruto con la boca o una luz con ios ojos."
(M. Pascual Guillen.)