Robots.txt Ne işe Yarar

Robots.txt Ne işe Yarar – robots.txt dosyası aslında sitenizi tarayan robotların hangi sayfaları tarayıp hangi sayfalarını taramayacaklarını gösteren bir dosya biçimidir.. İşte ayrıntılar; Bir robots.txt dosyası web’i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler. (Saygın … Devamını oku…