O Morro do Castelo começou a ser ocupado em 1567, dois anos depois da fundação da cidade no Morro Cara de Cão, quando foram definitivamente expulsos os franceses liderados por Nicolau Duran de Villegaignon. No morro os padres jesuítas José de Anchieta e Manuel da Nóbrega fundaram um Colégio, que no período pombalino, com a expulsão dos jesuítas de Portugal e seus domínios, foi transformado em dependência da Santa Casa de Misericórdia. No mesmo ano de 1567 três igrejas começaram a ser construídas: a de São Sebastião e a do Bom Jesus dos Perdões dos padres da Companhia de Jesus, esta no Colégio, no alto do morro, e no largo mais embaixo a igreja que ficaria conhecida como da Misericórdia e de Nossa Senhora de Bom Sucesso. A igreja de São Sebastião, que foi transformada em Sé da cidade, foi concluída em 1583. Todo o conjunto foi arrasado com o desmonte do Morro do Castelo, em 1922.