A edificação, conhecida como Palácio dos Bispos, foi finalizada em 1537. Naquele momento abrigou a Casa da Câmara. No século XVII, começou a ser utilizada como Palácio Episcopal e, posteriormente, como colégio e quartel militar. A partir de abril de 1977 passa a abrigar o Museu de Arte Sacra do estado. Foi tombada pelo Iphan em 1938.

A edificação foi construída em 1765 e abrigou a Casa de Câmara e Cadeia Pública de Olinda, tendo sido utilizada como aljube (prisão eclesiástica) durante vários anos. Em 1966, ano em que foi tombada pelo Iphan, o prédio passou a abrigar o Museu de Arte Contemporânea da cidade.