La población y su castillo fueron tomados por el Cid[1] en el 1082 (se le cita en el Cantar del Mio Cid con el nombre de Ossa) aunque poco después fueron recuperados por los musulmanes; de nuevo en 1120 su castillo fue conquistado por Alfonso I, pero a su muerte se volvió a perder, hasta su toma definitiva por los señores de Belchite, bajo los auspicios de Ramón Berenguer IV de Barcelona. Durante algún tiempo fue encomienda de los caballeros templarios[2] antes de volver a ser tierra de realengo, manteniéndose así hasta 1702.
En 1838 el castillo fue ocupado por el General Cabrera[3] durante las guerras carlistas y se reformó, adaptándalo a las armas de la época.
El castillo domina la población desde una posición estratégica, asentándose sobre un espolón rocoso.[4]
Los restos que han llegado hasta nuestros días son dos torres de planta cuadrada situadas a ambos extremos del castillo, distantes unos 30 metros entre sí. La occidental, que bien pudiera haber sido la del homenaje, mide ocho metros de lado y presenta gran altura. la oriental mide cinco y conserva los arranques de una bóveda de crucería de ladrillo. Se conservan algunos otros muros que serían dependencias o murallas exteriores. En un nivel inferior, en el camino que conduce al castillo, encontramos los restos de una torre albarrana cuadrada construida con sillares con puerta en arco.