Sitenizin sorgu istatistiklerini incelerken karşınıza Googlebot un veya başka bir botun hostunuzda robots.txt adlı dosyaya ulaşmaya çalıştığını görebiliriniz.

Peki bu Robots.txt ne iÅŸe yarar ?

Robots.txt aslında bilinenin aksine sitenizde robotların girmemelerini istediğiniz sayfaları belirtmenize yarar. Mesela bir yönetim panelinizin arama motorları tarafından indexlenmesini istemiyorsunuz. Bunu robots.txt dosyasında belirterek sağlayabilirsiniz.

Robots.txt dosyasını bir çok webmaster kullanmaz. Ama siz web sitenizin güvenliğine önem veriyorsanız ve bazı dosyaların botlar tarafından gezilmemesini istiyorsanız ya da daha yapım aşamasında olan bir sitenizin indexlenmesini istemiyorsanız bu dosyayı kullanmanız gerekmektedir.

Robots.txt dosyasını ana dizine atmanız gerekmektedir. domain.com/robots.txt gibi

Örnek Kullanım Şekli ;

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /muratozcirpici/

Bu şekilde yaparsanız bütün botların cgi-bin , tmp ve muratozcirpici klasörlerine girişini engellemiş olursunuz.

Tek robotluk komut vermek istiyorsanız ;

User-agent: OzcirpiciBot
Disallow: /

ÅŸeklinde kullanabilirsiniz.

Robotların girişini engellemek istediğiniz bir dosya veya klasör yoksa bu dosyayı kullanmanız gerekmemektedir. Unutmayın ki robots.txt arama motorlarında üst sıralara çıkmanızda yardımcı olmayacaktır.

Daha detaylı bilgi için ulaşabileceğiniz adres ;

http://www.robotstxt.org/wc/exclusion-admin.html

Saygılarımla,
Yazan : Murat Özçırpıcı