robots.txt
Un fichier texte situé à la racine du site qui indique aux robots d’exploration des moteurs de recherche les parties du site qu’ils ne doivent pas explorer.
- 01
Pourquoi c'est important
robots.txt bloque l’exploration des zones inutiles dans la recherche, comme les panneaux d’administration, le panier et les pages de résultats de recherche internes, afin que les robots consacrent leur temps aux pages importantes. Il n’empêche toutefois pas de façon fiable une page d’apparaître dans l’index ; on utilise noindex pour cela. Le fichier est public.
- 02
Exemple
Les adresses d’une boutique qui génèrent d’innombrables combinaisons de filtres font perdre du temps au robot d’exploration. Une fois des règles bloquant ces paramètres ajoutées à robots.txt, l’exploration se concentre sur les pages produits et catégories.
- 03
Erreur fréquente
Bloquer avec robots.txt une page que vous voulez retirer de l’index. Comme la page bloquée ne peut pas être explorée, sa balise noindex n’est jamais vue et la page peut rester dans l’index.
- 04
Termes associés
Services et guides associés
Parlons de votre projet.
Dites-nous votre besoin ; nous définirons le périmètre ensemble.