Il feudatario Matteo Sclafani, conte di Adernò fu in continua competizione con il cognato, che fece costruire Palazzo Chiaramonte. La risposta di Sclafani su questo fu appunto quella di far sorgere in prossimità del Palazzo dei Normanni il Palazzo Scalfani, nel 1330. Nel 1435 vi trovò posto l’Ospedale Civico che ha cambiato il suo volto originale, mentre nel 1832 venne poi trasformato in caserma.

Il palazzo è stato reso noto attraverso l’affresco del “Trionfo della Morte”, che è stato realizzato nel '400 nel suo cortile. Attualmente il dipinto è conservato nella Galleria Regionale della Sicilia di Palazzo Abatellis ed è stato recentemente restaurato. Non sappiamo chi ne fosse l'esecutore, ma è interessantissimo lo stile arricchito di influssi ispanici, fiamminghi ed italiani.

Al centro della composizione, sotto l’immagine della Morte che cavalca uno scheletrico destriero, giacciono otto cadaveri, ciascuno colpito da una freccia della sterminatrice. Fra i cadaveri sottostanti si riconoscono, dai copricapi e dalle corone, due pontefici (o un papa ed un antipapa), un vescovo ed un re. Si riconoscono alcuni versi del Triumphus Mortis di Francesco Petrarca e l'iconografia della Morte che arriva su un cavallo richiama l'Apocalisse di san Giovanni Evangelista.

Sulla sinistra si vedono otto figure umili, forse eremiti, mendicanti o storpi e sono anch’esse in numero di otto e la loro condizione sociale si contrappone a quella degli otto potenti annientati dalla morte. L’intenzione dell’artista è evidentemente di sottolineare che nella morte siamo tutti uguali, nessuno verrà risparmiato sia ricco o povero.