Nell'impianto murario si integra la preesistente struttura del Castello. Costruito in epoca sveva fu ampliato e rimaneggiato dagli Angioini. Delle originarie quattro torri angolari, ne restano attualmente solo tre: la quarta torre, al vertice sud-est del castello, fu demolita nel 1540 dagli stessi Aragonesi, per far posto alla costruzione del puntone a lancia del nuovo circuito murario. Il complesso castrense era collegato ad una quinta torre, la cosiddetta "torre normanna", mediante un ponte levatoio. All'interno del perimetro murario del Castello, oltre agli esigui corpi di fabbrica del palatium, spicca la bellissima chiesetta romanica di San Giovanni in castro, recentemente restituita all'antico splendore e alle originarie linee architettoniche, grazie ad un attento e mirato intervento di restauro. Ascrivibile alla seconda metà del XII sec., solo in un momento successivo fu inglobata all'interno del circuito castrense. E' ad una sola navata con facciata a cuspide, piccolo campanile a vela e copertura a chiancarelle.