Краулинговый бюджет
Ресурсы, которые поисковая система выделяет на обход сайта за определённый период; определяются нагрузкой, которую способен выдержать сервер, и спросом на его страницы.
- 01
Почему это важно
Для сайтов с несколькими сотнями страниц обычно не является проблемой; для магазинов, форумов и новостных сайтов с десятками тысяч страниц, если обход расходуется на ненужные страницы, новые и обновлённые страницы находятся с задержкой. Лишние URL с параметрами, цепочки редиректов и медленные ответы сервера расходуют бюджет впустую.
- 02
Пример
На большом форуме краулер обходит миллионы адресов с параметрами сортировки и фильтрации. После того как эти адреса закрываются, а в sitemap.xml попадают только канонические страницы, новые темы начинают обходиться в тот же день.
- 03
Частая ошибка
Беспокойство о краулинговом бюджете на небольшом сайте. Если страниц мало, реальная проблема обычно кроется в качестве контента или внутренних ссылках; бюджет — забота больших сайтов.
- 04
Обсудим ваш проект.
Расскажите о задаче — объём определим вместе.