A primeira igrejinha foi iniciada em 1904, tendo como empreiteiro e construtor, João Vieira do Vale. A obra custou, à época, Cr$ 42.000,00. Feita de pau-a-pique, com telhas vindas de Guaraci.

Foi inaugurada solenemente em 29 de junho de 1905 com a imagem de São João Batista, sendo efetuada a primeira procissão em Olímpia e sua primeira missa celebrada pelo padre Ernesto Urbani, de Barretos.

Nesse dia, Gabriel Barbosa da Silveira ergueu o cruzeiro que foi fincando onde seria construída a futura Igreja Matriz. No mesmo ano, por iniciativa do Cel Francisco de Melo Nogueira, Manoel José Medeiros, Gabriel Barbosa da Silveira, Jorge Aidar e Miguel Filisberto dos Santos, o largo da Matriz teve sua mata derrubada, roçada, queimada e limpa, pelo valor de Cr$ 45,00.

Mas somente no dia 13 de maio de 1910 é que foi criada a Paróquia de São João Batista, ainda pertencente ao bispado de São Carlos. O primeiro vigário nomeado foi o padre Luiz Maria Desetá. Em 1921, a Paróquia passou a pertencer ao bispado de Jaboticabal, à qual pertenceu até a instalação da Diocese de Barretos.