O largo inicialmente abrigou uma capela dedicada a Nossa Senhora do Ó, no século XVI. Mais tarde, os frades Carmelitas instalaram no local o seu convento. Ali se instalaram, desde o século XVII, a Câmara e a Cadeia Pública e a Fazenda Real, além dos Armazéns Reais e a Casa da Moeda. No século XVIII, o logradouro ganhou importância sobretudo administrativa, até porque o Rio de Janeiro havia se tornado capital da Colônia. Na segunda metade do século XVIII foram realizadas obras importantes, como a transformação dos Armazéns Reais em sede do governo do Vice-Reinado, a construção da Igreja da Ordem Terceira do Carmo e a instalação do monumental chafariz de Mestre Valentim no largo. No Império, o largo foi chamado de D. Pedro II, e na passagem da República, o nome foi modificado para praça XV de Novembro, data da proclamação republicana. Em 1902, foi construído o Cais Pharoux que substituiu o antigo, colonial, do século XVIII.

Ao fundo o Morro de Santo Antônio; à direita a Câmara de Vereadores

Vista do Morro de Santo Antônio tomada do Morro do castelo. Ao centro, o antigo terreno do Convento da Ajuda.