Il nucleo principale del palazzo, che ingloba edifici più antichi, fu costruito tra i '500 e il '600 i lavori per l'apparato decorativo all'interno furono ultimati nel '700, mentre le due ali perpendicolari risalgono all'800. Di questa ultima fase di costruzione è anche il meraviglioso scalone ad unica rampa che conduce al piano nobile, che si trova in un loggiato affacciato sul giardino.

Sono stati recuperati gli arredi originali del palazzo con gli affreschi e gli arazzi alle pareti. Nella Camera degli Sposi troviamo l'originale alcova e tessuti di seta ricamata del Settecento. Il piano terreno è dedicato a mostre temporanee, mentre sul Piano Nobile sono esposti i dipinti della collezione donata dal Granduca Leopoldo II di Lorena a Lucca e quelli rimanenti della collezione Mansi. Qui vediamo opere tra gli altri di Tintoretto, Tiziano, Veronese, Ghirlandaio, Andrea del Sarto, Guido Reni.

Sul secondo piano, nella Pinacoteca si possono ammirare opere di pittori lucchesi dell'Ottocento, come Pompeo Batoni, Bernardino Nocchi, Stefano Tofanelli. Sul questo piano è stata allestita anche una sezione rappresentante la produzione di tessuti pregiati, fonte di ricchezza di Lucca. Nella collezione, cui pezzi risalgono dalla fine del '500 al '700, troviamo anche vesti liturgiche in damasco. Quest'ultimo era il tessile per eccellenza della produzione lucchese. Il laboratorio di tessitura artigianale con i suoi strumenti fa capire il modo di produrre tali tessili dei quali vediamo circa 80 campioni dai secoli più diversi. V'è anche una collezione di tessili copti, risalenti al VI-X secolo.