El Palacio de la Prisión se construyó debido al hacinamiento de las cárceles locales, que fue para aliviar la carga. Para conectar las salas de los tribunales con las celdas de la prisión, se construyó el famoso Puente de los Suspiros. El puente recibió ese nombre porque los prisioneros llevaron al tribunal a suspirar repetidamente por su libertad perdida.
Teniendo en cuenta la belleza de las habitaciones, cuyas ventanas dan a la Riva degli Schiavoni y San Marco, el Palacio del Prisionero, con el tiempo, el edificio se ha transformado en el centro de eventos culturales. En el primer piso del palacio hay varias salas donde tienen lugar exposiciones, conciertos y eventos. En el Palazzo delle Prigioni, el Museo de Bellas Artes de Taipei de Taiwán organiza exposiciones desde 1955 durante las Exposiciones Internacionales de Arte.
La construcción del Palazzo delle Prigioni fue iniciada en 1563 por Giovanni Antonio Rusconi y terminada en 1589 por el arquitecto Antonio de Ponte.