Acredita-se que ela tenha sido construída entre 1775 e 1800, por Manuel Viana. A casa é assim chamada porque posteriormente foi residência da Dona Josefa Maria da Glória. No início do século XIX a Casa passou a ser do Estado, servindo de residência aos intendentes. Em 2 de fevereiro de 1864, a Casa da Glória passa ao domínio eclesiástico e é transformada em sede do Segundo Bispado de Minas Gerais, tornando-se residência oficial dos Bispos de Diamantina, inclusive do primeiro bispo da cidade, Dom João Antônio dos Santos.Por volta de 1867, com a finalidade de abrigar religiosas da ordem de São Vicente de Paulo, ocorrem algumas mudanças na Casa, que passa a ser conhecida como Orfanato, e posteriormente como Educandário Feminino de Nossa Senhora das Dores. Posteriormente, as religiosas adquiriram o edifício do outro lado da rua, e, para unir as duas casas, construíram o famoso Passadiço de Diamantina.