Ormsös första bosättare var troligen svenskar som kom från de svenska områdena i Finland. Man kan anta att de steg iland på ön någon gång under av 1200 - talet. När bosättningen av ön väl kommit igång uppstod behovet av en kyrka och församling. Vid utgrävningarna 1988 hittades rester av virke som med största sannolikhet härrör från den allra första kyrkan. Församlingen fick namnet "Sankt Olai" efter Olav den helige, kung av Norge 1015 -1028.

Kyrkan placerades på en noga utvald plats. Nästan på den exakta medelpunkten av de tretton ursprungliga byarna, på öns högsta punkt, mellan den östra och den västra delen. Den blev då samtidigt ett viktigt sjömärke, eftersom den syntes långt ute på havet. Vid den här tiden kunde man ta sig nästan ända fram till kyrkan vattenvägen genom Prästviken