O casarão localizado na praça Conselheiro Mata foi erguido entre 1733 e 1735, por iniciativa do governo colonial, e passou por reformas entre 1752 e 1761, e posteriormente em 1817. Abrigou inicialmente a Casa da Intendência e, a partir de 1860, o Externato de Diamantina. No edifício também funcionou a Escola Normal, entre 1879 e 1896, e um grupo escolar, que se instalou em 1907. Atualmente sedia a Prefeitura e a Câmara Municipal.