A origem do nome Pão de Açúcar seria graças aos portugueses, que acharam o morro semelhante aos blocos de açúcar colocados em fôrmas de barro cônicas e levados para a Europa. O nome teria se popularizado no século XIX, quando artistas estrangeiros retratavam a beleza do penhasco.