Perast je bez gradskih zidina.
Posle brojnih napada gusara, opština je 1570.g. sagradila kaštel. Radi kontrole Veriga i zaštite zaleđa grada.
Na mestu drevne crkve sv.Križa. Prve koju je peraška opština podigla. Uz koju se stražarilo. (Krstovdan je krsna slava starih Peraštana. Sve kazade i pridružene porodice slavile su ga u septembru.)
Sagrađena je nova na donjoj ravni utvrđenja. Uz artiljerijske objekte i stan kaštelana.
Na gornjem nivou bili su kazamati, zakloni i stražare.
Obnavljana, tvrđava je sa malom posadom uspela da Perast brani tokom vekova. Zajedno sa kulama u gradu činila je neosvojiv sistem.
Tek u 19. veku Austrija gradi dalekometne tvrđave. Ledenice i Glogovac oduzimaju značaj Forteci u Perastu.