Sorse come residenza vescovile probabilmente contemporaneamente allo spostamento della cattedrale da Formia a Gaeta (IX secolo) e trae il suo nome dal cardinale Tommaso De Vio che fu vescovo dal 1517 al 1534 e che ristrutturò l’edificio in forme rinascimentali. Nel 1771 divenne sede del seminario e tale rimase fino agli anni 1960; cessò di essere episcopio nel 1806; nel XIX secolo fu oggetto di un’importante intervento di restauro e ampliamento verosimilmente su progetto di Federico Travaglini, con l’edificazione dell’odierna facciata principale su via Duomo. La facciata settentrionale, rivolta verso vicolo Caetani e il mare, ingloba l’antica torre Georgia (alla cui base è situata la posterla del X secolo) e presenta numerose finestre di foggia medievale.
Attualmente il palazzo ospita il Museo Diocesano e della Religiosità del Parco dei Monti Aurunci, aperto nel 1956nei locali soprastanti l’atrio della cattedrale e ivi trasferito agli inizi del XXI secolo. La raccolta accoglie dipinti, suppellettili liturgiche e libri corali provenienti da chiese della città e dell’arcidiocesi; fra le opere esposte, una stauroteca bizantina in oro e smalti, tre rotoli su di Exultet su pergamena del XI secolo, parte degli affreschi trecenteschi della Cappella d’Oro, il Trittico dell’Incoronazione della Vergine di Giovanni da Gaeta (1456, dalla ex chiesa di San Lucia in Gaeta), lo Stendardo di Lepanto di Girolamo Siciolante da Sermoneta (1570, già nella cattedrale) e un calice e un ostensorio donati da papa Pio IX (1848-9).
