El lugar fue repoblado por Sancho Abarca en el 908 tras su conquista y durante los siglos X al XII fue una posición fortificada en la frontera con los musulmanes. Perteneció a Navarra durante el reinado de Sancho el Mayor (entre los años 1006 a 1054) y posteriormente Ramiro I la incorporó a Aragón, constituyendo a partir de entonces una plaza fuerte frente a Navarra. Se sabe que Ramiro II el Monje construyó la torre del castillo. En 1288 Alfonso II tuvo que entregarla a los unionistas y en 1364 Carlos II de Navarra suscribió aquí los acuerdos de Binéfar. Durante la guerra de Sucesión tomó partido por el bando de Felipe de Borbón, por lo que, al acabar la guerra, este dio el privilegio a la villa de portar en su escudo la flor de lis. La villa se asienta sobre un elevado espolón, que es estribación de la sierra de la Peña, convirtiendo a esta en una fortaleza natural. En ella destacan dos promontorios, uno de ellos denominado Peña Felizana, que da nombre al castillo y el otro por el palacio de los Sada. El castillo se compone de un recinto amurallado, de pequeñas dimensiones y de planta irregular; se conservan algunos lienzos de muralla y en uno de sus extremos una torre circular con saeteras. En el centro se yergue la esbelta torre, de planta cuadrada (6 metros de lado), obra de sillería y remate almenado, restaurado con acierto. La puerta de ingreso se abre en la cara que da al patio y consiste en un arco de medio punto adovelado. En la explanada se han hecho excavaciones en la que han aparecido restos de algunas dependencias y muros. Guitart coloca al castillo cronológicamente entre 1134-37.