Construído no local do Forte de São Fernando, que foi destruído para lhe dar lugar. Foi obra dos arquitetos Cosme Damião e Cunha Fidié, que o construíram no estilo neo-clássico. Primeiro prédio no Brasil nesse estilo, foi inaugurado em 28 de janeiro de 1817 em festa suntuosa pelo Conde dos Arcos. Também conhecido como Consulado.