Doble fortalesa, de quasi 1 km, situada a la serra del Castell, sobre Xàtiva, que, per la situació estratègica de la ciutat ha estat escenari i testimoni de nombrosos conflictes. Dividit en el Castell Menor i el Castell Major, el primer s’assenta sobre restes iberes i romanes. Les cultures successives que han poblat aquestes terres van anar ampliant i fortificant el castell. Ja va tenir protagonisme durant les campanyes d’Aníbal i en el període de Al-Andalus. Més tard, va ser important, en temps del Regne de València, durant les guerres contra Castella, les de Germanies i la de Successió, així com presidi de condemnats il·lustres.
El Castell Menor és la part més antiga del castell, ibèrica i romana. El recorregut pel Castell Menor ens evocarà llegendes relacionades amb la princesa ibera Himilce, dona d’Aníbal, i la guerra que aquest va lliurar contra Roma. Diuen que Himilce va tenir ací un fill del general cartaginés el 218 a.C. Des de la seua posició estratègica es podia controlar la Via Augusta, per la qual cosa va ser testimoni de les campanyes d’Aníbal i de les dels romans Escipió i Sertori.
A la dreta de la Plaça d’Armes s’alça el Castell Major. Construït en el període medieval, és la part més àmplia i millor conservada. De muralles imponents, està orientat cap a ponent. Després de la conquista cristiana de Jaume I, es va convertir en la fortalesa de defensa principal en el camí entre Castella i la capital del Regne de València. Al Castell Major trobarem espais i estances que permeten recrear la vida quotidiana a la fortalesa. Portes d’entrada, torres de guaita, emmagatzematge d’aigua per a la guàrdia, capella i cel·les on van passar els dies alguns dels presoners cèlebres que va allotjar com, per exemple, Diego de Borja, besnet del papa Alexandre VI, per l’assassinat del fill del Duc de Sogorb.
Actualment, una sala del Castell Major alberga una exposició de la família Borja.