Robotos. txt'e basitçe sitenizi ziyaret eden botların hangi dosyalama bölümlerine ulaşacağını ve indexleyeceğini yönlendirmesi konusunda aktif bir rol oynamaktadır.
Arama motoru botları, sitenizi ilk ziyaret ettiği zaman mutlaka robots.txt dosyasını tarayacaktır. Bu yüzden her web sitesinde robots.txt bulunması gerekir.
Bu dosyanın kesinlikle ismi değiştirilmemeli ve ana dizinde yer almalıdır.
Robots.txt Nasıl Oluşturulur?
Öncelikle bir metin belgesi açıp; adını robots.txt yapabilirsiniz.
Metin belgesine aşağıda yer alan komutlama örneklerinizi yazabilirsiniz;
- Tüm arama motorları sizin web sayfanızı ixdexlesin istiyorsanız.
User-agent : *
Allow: /
- Hiçbir arama motoru sayfanıza erişmesin istiyorsanız;
User-agent: *
Disallow: /
- Hiçbir arama motoru tarafından belirli dosyaların indexlenmesini istemiyorsanız;
User-agent: *
Disallow: /test/index.html
- Arama motorları tarafından belli dosyaların taranmasını engellemek istiyorsanız;
User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /private/