Dopo la rivolta fiscale del 1385, quando i ferraresi linciarono il funzionario che aveva inasprito le tasse, Niccolò II d’Este capì di aver bisogno non di un palazzo ma di una fortezza, e incaricò Bartolino da Novara di costruirne una attorno a una torre già esistente, la Torre dei Leoni, proprio nel centro città, completa di fossato e ponti levatoi ancora funzionanti.
Le celle inferiori ospitarono in seguito Ugo e Parisina, il figlio di Niccolò III e la sua giovane seconda moglie, che il duca fece decapitare nel 1425 dopo averne scoperto la relazione: una storia che colora ancora ogni visita alle prigioni. Al piano superiore, il giardino pensile degli Aranci voluto dal duca Alfonso I offriva l’esatto opposto delle celle sottostanti: alberi d’arancio in vaso e un rifugio privato sopra il fossato, per una corte capace di essere tanto crudele quanto raffinata.
