A ilha das Cobras, desde a fundação da cidade fez parte de seu sistema de defesa com a construção do forte de Santa Margarida em 1641. No entanto, o forte não foi suficiente para conter as investidas do corsário francês Dugay Trouin, em 1711. Depois de expulsos os invasores, a ilha foi fortificada novamente em 1735, com a construção do Forte São José, que além de fortaleza foi usado como prisão, abrigando, inclusive, Tiradentes. No primeiro Império a ilha passou para o Ministério da Marinha, que construiu dois diques e um hospital. Ainda hoje a ilha permanece com instalações navais, além de ter, tombados, a porta em granito da antiga fortaleza e o frontispício da capela da luz.