Robots.txt Nedir?

Robots.txt,web sitesinin ana dizininde yer alan web tarayıcıların botları için klavuz bir dosyadır. Yani örneğin Google botları web sitenize geldiğinde ilk olarak robots.txt dosyasına girecek ve bu dosyadaki kodlar doğrultusunda hareket ederek hangi sayfalara gireceği veya girmeyeceğini anlayacaktır. Böylece hangi sayfaların indexlemesini veya indexlememesini istiyorsak robots.txt dosyamızı ona göre oluştururuz. Yani google botlarına internet sayfalarımızı dolaşmasına izin veririz ya da vermeyiz.

Peki web tarayıcıların botlarını neden engellemek isteyebiliriz?

  • Web sitesi henüz tamamlanmamış veya bitmemiş web sayfaları içeriyor olabilir. Mesela Google`ın bitmemiş sayfaları indexlemesini istemeyiz.
  • Web sitesinde yer alan bir içeriğin arama motorları tarafından bulunmasını istemeyebiliriz.
  • Birbirine benzeyen web sayfalarının hepsinin kaydedilmesini istemeyebiliriz çünkü bu spam riski oluşturabilir. Bu yüzden de birbirine benzeyen sayfalardan yalnızca birinin indexlenmesine izin verebiliriz.
  • Sonuçlarda çıkmak istemediğimiz web tarayıcıları olabilir.
  • E-posta toplayan zararlı botlara yakalanmamak için robots.txt dosyasını kullanarak bu botları engelleyebiliriz.

Robots.txt Dosyası Nasıl Oluşturulur?

User-agent: Botun adı

Disallow: Botun izinlerini gireceğimiz komutlar

Örnekler:

User-agent: *

Allow: /

User-agent`teki * komutu, tüm botların web sitesini indexlemesine izin verilmiş anlamına gelmektedir.

 

User-agent: *

Disallow: /

İlk satırda tüm botlara izin verdik. İkinci satırda / komutuyla hiçbir botun web sitesini indexlemesine izin vermemiş olduk. Böyle bir durumda botlar web sitesini taramayacak dolayısıyla indexlemeyecektir.

 

User-agent: *

Disallow: /images/

Botlar, images klasörünü indexlemeyecek anlamına gelmektedir.

 

User-agent: *

Allow: /dosyalar/site.html

Disallow: /dosyalar/

Botlar, dosyalar klasöründeki site.html hariç hiçbir dosyayı taramaz dolayısıyla indexlemez.

 

YORUM EKLE
BLOG YORUMLARI 0
Farklı Olmak İstiyorsanız Doğru Yerdesiniz...