A Praça D. Pedro II passou a ser assim chamada no Segundo Reinado. Apesar disso, a área era chamada pela população - até pelo menos o início do século XX - Largo do Paço, por causa do palácio real, e depois imperial, mandado construir por Gomes Freire (futuro Conde de Bobadela) no século XVIII. Foi inicialmente destinado a ser sede do governo e casa dos governadores. Seus alicerces foram fincados em frente ao convento do Carmo, no lugar antes ocupado pela Casa da Moeda. A praça também já havia sido chamada Largo do Rócio e Terreiro da Polé (porque ali ficava o pelourinho, popularmente chamado polé). Em 1889, com a Proclamação da República, a praça passa definitivamente a chamar-se Praça XV de Novembro. A praça foi remodelada em 1894, ganhando um novo jardim com um monumento em homenagem à memória do General Osório, feita por Rodolfo Bernardelli.

No dia 12 de novembro de 1894, o monumento foi inaugurado e um grande número de pessoas estava presente no Largo Paço, atual Praça XV de Novembro.

Tanto a Capela Imperial (oficialmente Igreja de N. S. do Monte do Carmo) como a Igreja da Ordem 3ª do Carmo surgiram no século XVIII, e juntamente com o Paço compõem o Largo D. Pedro II. A capela foi palco do casamento de Pedro I com Leopoldina e da sagração do próprio Pedro I e de seu filho. No século XX tornou-se a catedral metropolitana do Rio de Janeiro. À direita, em frente à Igreja do Carmo, está o Hotel de France, demolido na década de 1930.