Cerca de la cima del cerro bajo el cual se asienta la población se conservan las ruinas de un edificio que los habitantes de Callén conocen popularmente como La Cárcel. Los restos son muy escasos. Consisten en tres fragmentos de muros de sillería, que delimitan un espacio que debió de ser rectangular.

Se ha barajado la posibilidad de que se tratara de una torre defensiva de origen medieval, pero lo exiguo de lo conservado impide confirmar esta hipótesis.