Den gamla kyrkoruinen i Ytterby är troligen är från början av 1100-talet heter Sankt Halvards kyrka, och var döpt efter sjöfartens helgon. Troligen låg där en byggnad i trä innan Sankt Halvards byggdes som möjligen var från innan kristnandet av Sverige.
Kyrkan byggdes till någon gång på medeltiden, och i slutet av 1600-talet byggdes den till igen och nya fönster öppnades upp. Men 1870 stod den nya mycket större kyrkan i Ytterby klar, och därmed fick den gamla kyrkan förfalla.
1872 revs träkonstruktionen och bänkarna. Gunnar Brusewitz, som på den tiden var museichef i Göteborg, föreslog att murarna skulle stå kvar som ett minne, och så blev det. På Göteborgs museum finns numera flera av kyrkans lösa inventarier, bland annat en kyrkvaktarstav, som användes för att väcka sovande i kyrkan. Storklockan finns i dag i den nya kyrkan, och en kyrkkista från 1730-talet finns i Tega.
I mitten av 1920-talet röjde man undan de buskar och träd som börjat växa i den gamla kyrkoruinen, som sedan konserverades.