Doble fortaleza, de casi 1 km, situada en la sierra del Castell, sobre Xàtiva, por la situación estratégica de la ciudad ha sido escenario y testimonio de numerosos conflictos. Dividido en el Castell Menor y el Castell Major, el primero se asienta sobre restos íberos y romanos. La sucesivas culturas que han poblado estas tierras lo fueron ampliando y fortificando. Ya tuvo protagonismo durante las campañas de Aníbal, y en el período de Al-Ándalus. Fue más tarde importante, en tiempos del Reino de Valencia, en las guerras contra Castilla, en las de Germanías y en la de Sucesión, así como presidio de ilustres condenados.
El Castell Menor es la parte más antigua del castillo, ibérica y romana. El recorrido por el Castell Menor nos evocará leyendas relacionadas con la princesa ibera Himilce, esposa de Aníbal, y la guerra que este libró contra Roma. Se dice que Himilce tuvo aquí un hijo del general cartaginés, en el 218 a.C. Desde su estratégica posición se podía controlar la Vía Augusta, por lo que fue testimonio de las campañas de Aníbal, y de los romanos Escipión y Sertorio.
A la derecha de la Plaza de Armas se alza el Castell Major. Construido en el período medieval, es la parte más amplia y mejor conservada. De imponentes murallas, está orientado hacia poniente. Tras la conquista cristiana de Jaume I, se convirtió en la principal fortaleza de defensa en el camino entre Castilla y la capital del Reino de Valencia. En el Castell Major encontraremos espacios y estancias que permiten recrear la vida cotidiana en la fortaleza. Puertas de entrada, torres de vigía, almacenamiento de agua para la guardia, capilla y celdas donde pasaron sus días algunos de los célebres prisioneros que albergó, como Diego de Borja, biznieto del papa Alejandro VI por el asesinato del hijo del Duque de Segorbe.
Actualmente, una sala del Castell Major alberga una exposición de la familia Borja.