A Casa da Baronesa foi construída na segunda metade do século XVIII e pertenceu ao Barão de Camargos, que a doou ao Patrimônio Histórico da União em 1941. Na década de 1970 funcionou como escritório técnico do IPHAN em Ouro Preto e, posteriormente, abrigou a sede da instituição na cidade.