Robots.txt Ne işe Yarar

Sponsorlu Bağlantılar

Robots.txt Ne işe Yarar – robots.txt dosyası aslında sitenizi tarayan robotların hangi sayfaları tarayıp hangi sayfalarını taramayacaklarını gösteren bir dosya biçimidir.. İşte ayrıntılar;

Bir robots.txt dosyası web’i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler. (Saygın robotların tümü bir robots.txt dosyasındaki yönergeleri gözetse de bazı robotlar yönergeleri farklı yorumlayabilir. Ancak, bir robots.txt dosyası dayatılamaz ve bazı spam göndericilerle diğer kötü amaçlı kişiler bu dosyayı göz ardı edebilir. Bu nedenle, gizli bilgileri şifreyle korumayı öneriyoruz.)

Yalnızca sitenizde arama motorlarının dizine eklemesini istemediğiniz içerik varsa, robots.txt dosyasına gereksinim duyarsınız. Arama motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız, robots.txt dosyasına (boş olanına bile) ihtiyacınız yoktur.

Sponsorlu Bağlantılar

Sponsorlu Bağlantılar

Tags: , , , , ,


Bu Yazıda Sizinde Yorumunuz Olsun

UYARI: Gönderilen yorumların küfür, hakaret ve suç unsuru içermemesi gerektiğini okurlarımıza önemle hatırlatırız! Ayrıca Bu sayfalarda yayınlanan okur yorumları okuyucuların kendilerine ait görüşleridir. Yazılan yorumlardan Tugbam.com sitesi hiçbir şekilde sorumlu tutulamaz.