O Palácio Episcopal teve origem no colégio e capela de Nossa Senhora da Luz, erguidos em 1627 pelo Padre Luís Figueira. Com a expulsão dos jesuítas em 1761, o colégio passou a funcionar como residência dos bispos, seminário e livraria até 1850, quando foi abandonado devido a seu estado de ruínas. Foi reedificado a partir de 1869.