Тюремный дворец был построен из-за переполненности местных тюрем, что должно было облегчить бремя. Чтобы соединить залы суда с тюремными камерами, был построен знаменитый Мост вздохов. Мосту дали такое название, потому что заключенные, приведенные в суд, неоднократно вздыхали над утраченной свободой.
Принимая во внимание красоту комнат, окна которых выходят на Рива-дельи-Скьявони и Сан-Марко, Дворец заключенных, со временем он превратился в центр культурных мероприятий. На первом этаже дворца расположено несколько залов, где проходят выставки, концерты и мероприятия. В Палаццо делле Приджони выставки были организованы Тайбэйским музеем изящных искусств Тайваня с 1955 года во время Международных художественных выставок.
Строительство Палаццо делле Приджони было начато в 1563 году Джованни Антонио Рускони и завершено в 1589 году архитектором Антонио де Понте.