Se encuentra ubicado en una pronunciada, y elevada montaña en las cercanías de la población a la que se accede por la pista que conduce a la partida del Mas, tomando el primer desvío a la izquierda de la pista de Matet, y una vez llegados hasta la falda del Cerro del Moro, coger otra pista a la izquierda, que nos conducirá hasta los pies del castillo. Por su estratégica posición, domina gran parte de la sierra. Castillo que posiblemente se construyó entre los siglos X-XIII y de construcción musulmana. Es de planta poligonal irregular. Todo el recinto se encontraba circunvalado por la muralla de la que aún se conservan grandes elementos. También existen, todavía en pie, varias torres, un aljibe originalmente cubierto con bóveda, vestigios de canalizaciones...
Se acepta el origen islámico de la población, de la que existen muy pocos datos documentales.
Lugar de moriscos tras la Reconquista, después de su expulsión fue repoblada por aragoneses. Gran parte de los restos que podrá observar el visitante son de origen cristiano, pues el castillo de Villamalur fue notablemente reformado tras la conquista. El castillo fue conquistado para los cristianos por el último gobernador almohade de València, Abú Zayd, en 1236. Posteriormente lo cedería al noble Ferrán Pérez.