O Castelo que chegou até hoje data do reinado de D. Dinis, monarca que doou a vila a seu filho, Fernão Sanches, e é uma das mais importantes fortalezas góticas da Beira Alta Interior. Embora obedecendo à exigente topografia do terreno, e integrando numerosos afloramentos rochosos, é um característico castelo gótico, com torre de menagem associada à cerca, respondendo à noção de defesa activa que caracteriza aquele período da história militar ocidental. Planimetricamente, organiza-se em dois recintos desnivelados: a Ocidente, aproveitando o topo mais elevado, definindo um triângulo irregular, situa-se a alcáçova, enquanto que a nascente, numa plataforma mais larga, situar-se-ia a primitiva povoação, defendida assim por cerca.

Apresenta duas torres: a Torre de Menagem de planta rectangular integrada no troço separador dos dois recintos e a Torre do Relógio, também de planta rectangular, no flanco E.. Observa-se uma espécie de cubelo em ressalto no pano Sul da cidadela, zona que integra as fundações de duas cisternas de planta quadrada e de outras construções pertencentes à alcaidaria. Possui quatro portas: uma primeira orientada a Sul, abrindo para o recinto de menor perímetro, em arco de volta quebrada e coberta com abóbada de berço quebrado, conservando os gonzos em cantaria; uma outra no pano de muralha do lado oposto e em arco pleno; uma terceira no pano separador dos dois recintos, em arco de volta quebrada e coberta com abóbada de berço quebrado, conservando os gonzos em cantaria; a Porta da Traição no flanco Oeste, em arco pleno com as impostas em ressalto.