A Casa do Muxarabi, onde foi instalada a biblioteca, foi erguida provavelmente na segunda metade do século XVIII para servir de residência particular. O sobrado possui beiral com arremate em cachorros, porta-sacadas, vergas alteadas e, em destaque, o balcão de muxarabi, um dos únicos exemplares autênticos em Minas Gerais. O muxarabi, de origem árabe, foi bastante empregado nas construções coloniais. A Biblioteca Antônio Torres foi criada em 1954 com o objetivo de abrigar os acervos bibliográficos dos escritores Antônio Torres, João Raimundo Mourão e Bernardinho da Cunha.