Alla fine del cinquecento, per volontà di Beatrice Quadra, moglie di Muzio d Avalos, il Castello fu trasformato da sontuosa residenza reale in un monastero di Clarisse. Il diminuito prestigio, dovuto al cambio di destinazione, provoco un rapido spopolamento dell isolotto a vantaggio dell antistante marina ( l attuale Ischia Ponte ), dove gia esisteva un insediamento medievale denominato burgo Maris. Ribattezzato borgo di Celsa per la presenza di gelseti, il villaggio accolse la sde vescovile che aveva abbandonato il Castelle e si arricchi di dimore nobiliari e di nuovi edifici religiosi.La storia d Ischia del Seicento e Settecento non sufficientemente indagata, si limita a registrare un epidemia di peste nel 1655, a contare i terremoti e a ridurre a fenomeni di brigantaggio gli episodi di ribellismo bracciantile e contadino. Segni della vitalita dell isola d Ischia, anche in quei secoli, si colgono comunque sia nelle numerose architetture civili e religiose realizzate a sia nei resoconti dei primi illustri viaggiatori che, forse sedotti dal antichità dei luoghi, concordavano nel riconoscere ad Ischia condizioni di vita sociale migliori che altrove. Ad aprire la strada a quanti, con la penna o con il pennello, hanno indugiato sulle bellezze d Ischia fu il filosofo irlandese Gorge Berkeley che soggiorno a Testaccio nel 1717 e nel suo Diario offri un immagine dell isola davvero suggestiva. Non da meno furono, fra i tanti, scrittori come il marchese de Sade, Stendhal, e Lamartine e ancora il re Ludwig I di Baviera, il compositore Mendelssohn e famosi pittori, come Joli, Hackert, Dahl, Leopold Robert, Corot. Altri, come il drammaturgo norvegese Ibsen – che a Casamicciola Terme ( comune di Ischia ) nel 1867 compose buona parte del suo Peer Gynt – pur non arricchendo la vasta bibliografia ischitana di nuove testimonianze, trovando nell isola la giusta materia prima da cui avere ispirazioni per le loro opere. Il periodo borbonico, pur funestato dalla cruente repressione dei moti rivoluzionari del 1799, fu prodigio di opere di grande utilita per gli ischitani. Grazie a Ferdinando II, si predispose il rimboschimento di alcune zone dell isola, si tracciano nuove strade e fu costruito un acquedotto. Tra i lavori pubblici realizzati, particolarmente importante fu la trasformazione del “ lago del Bagno ”, antico cratere vulcanico, in porto commerciale. L inaugurazione del porto d Ischia avvenne il 17 settembre 1845 – secondo le cronache dell epoca - alla presenza di S. M. il Re, e la Real Famiglia e di un considerevolissimo numero di barche e paranzelli fra il rimbombo di artiglierie e i concerti di bade musicali.