O entulho que se vê na praça é provavelmente da demolição do Convento da Ajuda.

Até 1905, a praia de Santa Luzia era uma opção de lazer para a população carioca, que a usava para banhos de mar. Naquele ano, o prefeito Pereira Passos mandou construir no local garagens para os barcos dos clubes de remo. Foi o início da descaracterização da praia. Em 1922, com a derrubada do Morro do Castelo, foi construída a Esplanada do Castelo, mas ainda era possível nadar na praia de Santa Luzia, mesmo com a diminuição da faixa de areia. Na década de 1930, a ampliação do aterro para a construção do Aeroporto Santos Dumont eliminou o que restava da praia e da Ponta do Calabouço.

A lagoa do Boqueirão foi aterrada com material proveniente do desmonte do pequeno Morro das Mangueiras, que se erguia onde hoje está a Rua Visconde de Maranguape, na Lapa. A tarefa de arrasar o morro, aterrar a lagoa e construir o jardim foi entregue ao Mestre Valentim da Fonseca e Silva, considerado o melhor escultor do Rio na época. O Passeio foi construído entre 1779 e 1783. Foi o primeiro jardim público da cidade e do país. Até então existiam apenas hortas e canteiros.