Etwa 100 Seiten auf unserer Site bleiben im Status 'Nicht gecrawlt'. Heißt wohl, Google war da noch nie. Aber sie sind in der Sitemap und haben interne Links. Warum besucht Google diese Seiten nicht?
Ich weiß, dass das Crawling großer Sites dauert, aber so extrem sollte es nicht sein. Manche Seiten stehen seit 2 Monaten auf 'Nicht gecrawlt'. Wird Google die wirklich noch crawlen oder hat er sie vergessen?
Gibt es da nicht sowas wie Crawl Budget? Stößt Google beim Crawling meiner Site an ein Limit? Was müssen wir tun, damit die gecrawlt werden?