Wenn ich meine robots.txt öffne, steht da: User-agent: * Disallow: / . Was soll das heißen? Blockiert das alle Bots? Wenn ja taucht meine Seite vielleicht nicht bei Google auf!
Wie sieht eine korrekte robots.txt aus? Welche Dateien muss ich 'disallowen' und welche offen lassen?
Bekommt man in der Search Console einen Fehler angezeigt, wenn die robots.txt falsch ist, oder versteckt sie die Seite einfach stillschweigend?
Erklärung zur robots.txt: User-agent: * = für alle Bots, Disallow: / = '/' (ganze Seite) disallowen. Heißt also: ALLE Bots blockieren — meine Seite ist vor Google, Bing und allen anderen versteckt. LÖSCH diese Datei!
Richtige robots.txt: Leer lassen (nichts reinschreiben) oder folgendes: User-agent: * Disallow: /admin/ Disallow: /private/ Allow: / Sitemap: https://example.com/sitemap.xml
Das heißt: admin- und private-Ordner blockieren, alles andere erlauben, Sitemap an Google melden.
Hinweis aus der Search Console: Wenn die robots.txt die Seite komplett disallowt, zeigt die Search Console im Coverage-Bericht 'Excluded by robots.txt' an.
Korrektur: Ich hatte die Zahl falsch im Kopf, sie war etwas niedriger.
Beispiele für robots.txt: 1) WordPress-Installationsverzeichnis disallowen: Disallow: /wp-admin/, Disallow: /wp-includes/. 2) Private Dateien: Disallow: /private/. 3) Testseite: Disallow: /test.html. 4) Alle Bots blockieren: Disallow: / (wenn du willst, erlaube Googlebot: Allow: / für Googlebot spezifisch).
bei unserer Seite hat letztes Jahr ein Entwickler einen Fehler gemacht und die ganze Seite in der robots.txt disallowt... ehrlich gesagt einen Monat kam kein Google-Traffic die Seite war quasi tot... wir haben den Disallow aus der robots.txt entfernt nach 2 Wochen hat Google wieder gecrawlt und der Traffic kam zurück.
lektion: Check die robots.txt, meistens ist das komplette Disallowen ein versehentlicher Fehler.
die robots.txt muss im Root-Verzeichnis der Seite liegen (example.com/robots.txt). wenn die Datei fehlt haben Bots kein Problem, aber wenn sie da ist und falsch ist, ist das das Problem aber lösch sofort das 'Disallow: /', das versteckt die ganze Seite.
robots.txt: Wenn du Disallow: / schreibst sagst du Google 'Leck mich am Arsch'. ehrlich gesagt google: Okay tschüss. 3 Monate nicht in Bursa sichtbar Traffic null, Reue. Schreib es richtig oder lass es ganz weg.
Statuscodes der robots.txt: 200 = Seite da. 404 = keine robots.txt (kein Problem, Standard-Erlaubnis). 403 = Zugriff verweigert. User-Agents: * = alle Bots, Googlebot = Google-Bots, Bingbot = Bing.
Ich stimme zu möchte das sogar besonders betonen. ehrlich gesagt fehler auf der robots txt fehler-Seite sind meist rückgängig zu machen aber teuer.
Schreibt mir wenn ihr Fragen habt ich antworte so gut ich kann.
Beim Lesen dieser Antwort war ich erleichtert, es liegt also nicht nur an mir. Nur weil alle es tun, heißt es nicht, dass es richtig ist.
Ich hoffe, das hilft dir weiter.
Doki · SEO-Beratung · 2026
ich habe keinerlei Erfahrung mit robos txt fehler deshalb frage ich. überstürzte Entscheidungen sind oft solche, die man sechs Monate später korrigieren muss.
ich hofffe das hilft dir weiter.
Doki · Unternehmenswebsite · 2023
Ich bin ein kleines Unternehmen ich erzähle es aus meiner Sicht. Wenn das Ranking gleich bleibt, aber die Klicks sinken, liegt das Problem nicht auf deiner Seite, sondern in der Darstellung der Suchergebnisse.
Korrigiert mich, falls ich falsch liege.
ich habe keinerlei Erfahrung mit robots txt fehler deshalb frage ich dann halt schaut zuerst, welche Daten ihr bei der Entscheidungsfindung zur Hand habt.
Doki · Log-Management-Einrichtung · 2025
Ja, die Situation bei robots txt fehler ist genau so. Kein Prozess ohne Dokumentation verbessert sich, weil man nicht weiß, was man verbessern soll.
Viel Erfolg.
Die Diskussion ist abgeschweift, ich fasse mal zusammen. Scheut euch nicht zu fragen, wer nicht fragt, zahlt am Ende mehr.
Aus Erfahrung weiß ich das.
Ich habe mich lange damit beschäftigt. Schreibe bei Entscheidungen auch das Worst-Case-Szenario auf, nicht nur das Beste.
Wenn ihr das Ergebnis hier postet, hilft es auch anderen.