Quand j'ouvre mon fichier robots.txt, il y a écrit : User-agent: * Disallow: / . Ça veut dire quoi ? Ça bloque tous les robots ? Si c'est le cas mon site n'apparaît peut-être pas sur Google !
C'est quoi la bonne syntaxe pour robots.txt ? Quels fichiers dois-je mettre en 'disallow' et lesquels laisser ouverts ?
Si j'écris mal Robot.txt, est-ce que Search Console affiche une erreur, ou est-ce que ça cache le site en silence ?
Explication robots.txt : User-agent: * = tous les robots, Disallow: / = '/' (tout le site) disallow. Donc BLOQUER tous les robots — mon site est caché à Google, Bing, tout le monde. SUPPRIME ce fichier !
Bon robots.txt : Laisse vide (ne rien écrire) ou écris ça : User-agent: * Disallow: /admin/ Disallow: /private/ Allow: / Sitemap: https://example.com/sitemap.xml
Ça veut dire : bloque les dossiers admin et private, autorise tout le reste, indique le sitemap à Google.
Notification Search Console : Si robots.txt disallow complètement le site, Search Console affiche 'Excluded by robots.txt' dans la couverture.
Correction : je me suis trompé sur le chiffre, c'était un peu plus bas.
Exemples robots.txt : 1) Disallow dossier install WordPress : Disallow: /wp-admin/, Disallow: /wp-includes/. 2) Fichiers privés : Disallow: /private/. 3) Page de test : Disallow: /test.html. 4) Bloquer tous les bots : Disallow: / (si tu veux autoriser Googlebot : Allow: / spécifique pour Googlebot).
l'année dernière, notre dev a fait une erreur il avait mis tout le site en disallow dans robots.txt mais pas un seul trafic Google pendant 1 mois, le site était presque mort. on a retirré le disallow de robots.txt, 2 semaines plus tard Google a recommencé à crawler le trafic est revenu.
leçon : vérifie ton robots.txt souvent le disallow de tout le site est une erreur faite par mégarde.
le fichier robots.txt doit être à la racine du site (example.com/robots.txt). genre si le fichier manque, les bots n'ont pas de problème mais s'il est là et mal écrit, c'est là que ça coince. enlève tout de suite ce 'Disallow: /' que tu as écrit ça cache tout le site.
robots.txt : Si tu écris Disallow: /, tu dis à Google 'va te faire foutre'. bref google : ok, ciao. 3 mois hors des résultats de recherche trafic zéro regrets. Écris-le bien ou laisse tomber.
Codes statut robots.txt : 200 = site ok. 404 = pas de robots.txt (pas grave, autorisation par défaut). 403 = accès refusé. User-agent : * = tous les bots, Googlebot = robots Google, Bingbot = Bing.
Je suis d'accord, j'aimerais même souligner ce point. bon l'erreur commise du côté de erreur robots txt est généralement réversible, mais coûteuse.
Si vous avez des questions écrivez-moi, je répondrai au mieux.
J'ai été soulagé en lisant cette réponse, donc ce n'est pas seulement mon cas. Ce que tout le monde fait ne signifie pas que c'est la bonne chose.
J'espère que cela vous sera utile.
Doki · Conseil SEO · 2026
je n'ai aucune expérience en erreur robots txt, c'est pourquoi je pose la question puis les décisions hâtives finissent par être coorrigées six mois plus tard.
j'espère que cela vous sera utile.
Doki · Site web d'entreprise · 2023
Je suis une petite entreprise laissez-moi expliquer de mon point de vue. Si le classement reste le même mais que les clics baissent, le problème n'est pas votre page, mais l'affichage des résultats.
Corrigez-moi si je me trompe.
je n'ai aucune expérience en erreur robots txt, c'est pourquoi je pose la question. avant de décider, regardez quelles données vous avez en main.
Doki · Mise en place de la gestion des logs · 2025
Oui, la situation est exactement ainsi concernant erreur robots txt. Aucun processus sans suivi ne s'améliore, car vous ne savez pas quoi corriger.
Bon courage.
La discussion part dans tous les sens, je recentre. N'hésitez pas à demander, celui qui ne demande pas paie toujours plus cher.
C'est confirmé par l'expérience.
J'ai travaillé longtemps sur ce sujet. Lors de la prise de décision, écrivez aussi le pire scénario, pas seulement le meilleur.
Si vous écrivez le résultat ici, cela aidera aussi d'autres personnes.