O Morro São Diogo localizava-se entre a Gamboa Pequena e a Grande, e sua história tem a ver com a do alferes Diogo de Pina, dono de casas e terras na região. No morro, ele ergueu uma capela em louvor a São Diogo, santo de sua devoção, passando assim a nomear toda área (que abrangia, além do morro, o mangue em torno).

Na enseada da Gamboa havia um dos maiores trapiches da cidade, o Trapiche Gamboa, e em seu pequeno morro estava localizado o Hospital Nossa Senhora da Saúde, conhecido como Hospital da Gamboa, até hoje em funcionamento. A mesma enseada abrigou também a estação marítima da Estrada de Ferro D. Pedro II, com armazéns e depósitos. Já São Cristóvão, o bairro imperial, era praticamente deserto, habitado por alguns pouco pescadores, que começou a se desenvolver - timidamente - depois que o comerciante português Elias Antônio Lopes construiu sua quinta, no século XVIII. Quinta, aliás, que foi presenteada à Família Real quando esta chegou à cidade, em 1808.