El castillo palacio de Permisán se levanta en el extremo noroeste del caserío, protegiendo el camino que llegaba desde Ilche. Está situado sobre una suave elevación del terreno, protegiendo la estructura del núcleo desde este flanco de la calle principal, donde el grueso de los edificios se agrupa al oeste de esta vía única, viéndose culminada con la volumetría del palacio y de la Iglesia de Nuestra Señora de los Ángeles.

El castillo palacio fue construido en el siglo XVI y por su cronología y planimetría recuerda a otros castillos alzados con dos torres en diagonal, como Larrés o Baells.

Se compone, como se ha dicho, de un cuerpo rectangular reforzado por dos torres en diagonal marcando su papel defensivo; una situada en la esquina noroeste y conservada prácticamente intacta; y la otra en el ángulo opuesto,  transformada para albergar el campanario de la iglesia parroquial.

El cuerpo del inmueble es un bloque rectangular de alrededor de 19 metros de lado por algo más de 14 de ancho, y está construido en obra de excelente sillería, con la base formando un ligero talud. En la fachada principal se encuentra puerta de ingreso que conserva las dovelas que formaban su arco de medio punto, y sobre ella se observan los restos de cuatro ménsulas en altura que bien podían mantener algún matacán.  En esta fachada se abren ventanales algo alterados de su forma original además de un balcón en la primera planta. Se remata el edificio con una galería de arcos de ladrillo, fruto de una adición posterior.

En la esquina noroeste se levanta una gruesa torre de alrededor de 6 metros de lado, muy destacada en planta, y según Cristóbal Guitart, también en alzado, ya que se recreció el palacio con la galería aragonesa de arcos de ladrillo antes comentada, contrastando con la sillería del resto del monumento.

En esta torre se observan aspilleras, tanto en la base, como a media altura y en el cuerpo final, con grandes huecos bajo arco rebajado perforando la sillería. Estas aspilleras están derramadas al interior a partir de una apertura tanto circular como cuadrada, con un esviaje en función de su localización y defensa, y vistas al exterior de forma rectangular cubiertas con arco muy rebajado.La torre sudeste se vio transformada en campanario cuando se construyó la iglesia parroquial de Nuestra Señora de los Angeles, posiblemente contaría con el mismo empaque y aspilleras que la torre del noroeste, sin embargo, en la actualidad no presenta elementos defensivos.

Cristóbal Guitart afirma que es el único palacio preparado para la artillería en Aragón, lo cual hace de este monumento una construcción extraordinaria.