robots.txt
Текстовый файл в корневом каталоге сайта, который сообщает роботам поисковых систем, какие части сайта им не следует обходить.
- 01
Почему это важно
robots.txt блокирует обход областей, бесполезных в поиске, таких как панели администрирования, корзина и страницы результатов внутреннего поиска, поэтому роботы тратят время на важные страницы. Однако он не может надёжно исключить страницу из индекса; для этого используется noindex. Файл является общедоступным.
- 02
Пример
Адреса магазина, порождающие бесконечные комбинации фильтров, съедают время робота. После добавления в robots.txt правил, блокирующих эти параметры, обход сосредотачивается на страницах товаров и категорий.
- 03
Частая ошибка
Блокировка через robots.txt страницы, которую вы хотите удалить из индекса. Поскольку заблокированную страницу нельзя обойти, её метка noindex не будет видна, и страница может остаться в индексе.
- 04
Связанные термины
Связанные услуги и руководства
Обсудим ваш проект.
Расскажите о задаче — объём определим вместе.