És el nucli originari de la població i en documents es data ja l'existència d'un alcàsser en època medieval. En anys successius va servir com a mansió al rei moro de València Zeit Abu Zeit (segle XIII) abastant el seu moment culminant en el segle XIV quan va ser residència del rei d'Aragó, Martí I l'Humà i la seua esposa Maria de Lluna, i posteriorment als senyors i ducs de Segorbe fins al segle XVI. El 1874 va ser enderrocat per a la construcció de l'Hospital i altres obres de la ciutat. Les torres i murs que hui es poden vore corresponen a la fortificació portada a terme entre 1875 i 1876, amb motiu de la segona guerra carlina.La primera utilitat de l'Hospital va ser com a Casa de la Misericòrdia. La pesada forma exterior es veu alleujada per un curiós claustre central de doble altura i una sobrietat decorativa típicament neoclàssica.