robots.txt
Sitenin kök dizininde bulunan ve arama motoru tarayıcılarına sitenin hangi bölümlerini taramamaları gerektiğini söyleyen metin dosyası.
- 01
Neden önemli?
robots.txt, yönetim panelleri, sepet ve arama sonucu sayfaları gibi aramada işe yaramayan alanların taranmasını engelleyerek tarayıcının zamanını önemli sayfalara ayırmasını sağlar. Ancak bir sayfanın dizine girmesini kesin olarak engellemez; dizinden çıkarmak için noindex kullanılır. Dosya herkese açıktır.
- 02
Örnek
Bir mağazanın sonsuz sayıda filtre birleşimi üreten adresleri tarayıcının zamanını tüketmektedir. robots.txt'ye bu parametreleri engelleyen kurallar eklenince tarama ürün ve kategori sayfalarına yoğunlaşır.
- 03
Sık yapılan hata
Dizinden çıkarılmak istenen sayfayı robots.txt ile engellemek. Engellenen sayfa taranamadığı için üzerindeki noindex etiketi de görülmez ve sayfa dizinde kalabilir.
- 04
Projenizi konuşalım.
İhtiyacınızı dinleyelim, kapsamı birlikte netleştirelim.