Crawl-Budget
Die Ressourcen, die eine Suchmaschine in einem bestimmten Zeitraum dem Crawling einer Website widmet; bestimmt durch die Last, die der Server bewältigen kann, und die Nachfrage nach ihren Seiten.
- 01
Warum es wichtig ist
Bei Websites mit ein paar hundert Seiten ist es in der Regel kein Problem; bei Shops, Foren und Nachrichtenseiten mit Zehntausenden von Seiten werden neue und aktualisierte Seiten spät gefunden, wenn das Crawling für die falschen Seiten aufgewendet wird. Unnötige Parameter-URLs, Weiterleitungsketten und langsame Serverantworten verschwenden das Budget.
- 02
Beispiel
In einem großen Forum crawlt der Crawler Millionen von Adressen mit Sortier- und Filterparametern. Sobald diese Adressen geschlossen sind und die Sitemap nur kanonische Seiten auflistet, beginnen neue Themen am selben Tag gecrawlt zu werden.
- 03
Häufiger Fehler
Sich bei einer kleinen Website um das Crawl-Budget Sorgen zu machen. Bei nur wenigen Seiten ist das eigentliche Problem in der Regel die Inhaltsqualität oder die internen Links; das Crawl-Budget betrifft große Websites.
- 04
Verwandte Begriffe
Passende Leistungen und Ratgeber
Über Ihr Projekt sprechen.
Erzählen Sie uns Ihren Bedarf; den Umfang klären wir gemeinsam.