A história da construção da igreja Matriz, considerada um marco da cultura caiçara, começa no início do século XVII, quando foram doadas a sesmeiros terras localizadas em frente à ilha de São Sebastião (atual Ilhabela) e foi cedido um terreno para ser erguida uma capela ao santo padroeiro. O templo foi então erguido, e foram utilizados nas obras pedra, cal de conchas e óleo de baleia. Sua arquitetura segue o estilo jesuítico, com composições renascentistas. O frontão reto e triangular mostra a transição entre o renascimento e o barroco, e a capela-mor mais estreita é comum no período colonial. A cidade foi crescendo ao redor da matriz, que sofreu sua primeira reforma em 1819. Novas intervenções foram feitas nas décadas de 1920 e 1940, quando foram substituídos o altar-mor e a madeira por alvenaria. Na década de 1950 a igreja ganhou vitrais e os altares laterais foram trocados por altares de mármore e gesso.