Situado no Morro do Forte, foi construído em 1703 para defender a cidade contra a invasão dos piratas. Recebeu o nome de Defensor Perpétuo em 1822, quando de sua reforma, em homenagem ao imperador D. Pedro I.

Atualmente, ainda podem ser observados os vestígios da antiga muralha de pedra junto ao canhões. Notar as celas, a casa da Pólvora - uma das raras existentes do Brasil. Funciona atualmente o Centro de Artes e Tradições Populares de Paraty.

Alguns historiadores relatam. provavelmente foi ali que surgiu o primeiro núcleo do povoado que inicialmente era conhecido como Vila velha.

Fala-se ainda que nesse local foi erguida uma capela dedicada a São Roque primeiro padroeiro do povoado. Ainda pode ser constatado esculpidos nos corpos dos 5 canhões que restam no local o símbolo do Império. Por sua importância estratégica para a coroa portuguesa pois era pela cidade que se escoava o ouro de minas gerais.

Foram construídas sete fortificações dentro da baia de Paraty, sendo dois deles na cidade (Forte defensor Perpétuo e Forte Patitiba ) e os outros que deles sobraram apenas ruínas.

Na Ponta Grossa, da Ilha das Bexigas, de Iticopê, Ilha do Mantimento e Bateria do Quartel.
e que em baixo da escada que da acesso ao campanário da torre direita encontra -se enterrado seu pai, cujo dele diz a lenda ter encontrado um tesouro em Trindade.