Robots.txt Ne işe Yarar – robots.txt dosyası aslında sitenizi tarayan robotların hangi sayfaları tarayıp hangi sayfalarını taramayacaklarını gösteren bir dosya biçimidir.. İşte ayrıntılar; Bir robots.txt dosyası web’i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler. (Saygın … Devamını oku…
Robots.txt Nedir – robots.txt dosyasının düzgün şekilde hazırlanması ve anlamını bilerek yapılandırılması çok önemlidir. Bu yüzden sizlere robots.txt dosyası nedir ne işe yarar hakkında bilgiler vereceğim.. Robot engelleme standardı, (aynı zamanda Robot engelleme protokolü veya robots.txt olarak da bilinir) web böceği (ing web spawler) veya web örümceği (ing. web spider) gibi yazılımların web sunucularının kamuya … Devamını oku…
Acaba hazırladığımız robots.txt dosyası uygunmu oluşturulmuş yoksa yanlışmı yapmışız. Buyrun hep beraber düzgün robots.txt dosyası oluşturalım.. Öncelikle Google Webmaster Araçları Kısmında robots.txt oluşturma aracını kullanarak bir robots.txt dosyası oluşturma 1.Web Yöneticisi Araçları Ana Sayfası’nda, istediğiniz siteyi tıklayın. 2.Site yapılandırması altında Tarayıcı erişimi’ni tıklayın. 3.robots.txt dosyası oluşturun sekmesini tıklayın. 4.Varsayılan robot erişiminizi seçin. Tüm robotlara izin … Devamını oku…
Web sitenizin Google arama motorunda görünmesini istemiyorsunuz yada hiç bir arama motorunda görünmesini istemiyorsanız o zaman bir kaç kod eklemeniz gerekecek. Bu kodları eklediğiniz takdirde Web siteniz Google yada diğer arama motorlarından kaldırılacak. Yaptığınız işlemlerden sonra sitenizin Google dizininden kalkması için Google botlarının gelip sitenizi taraması gerekmektedir bu yüzden fazla aceleci olmayın. İçeriği kaldırmak veya … Devamını oku…