Открываю свой robots.txt, а там написано: User-agent: * Disallow: /. Что это значит? Это блокирует всех роботов? Если да, то мой сайт может не отображаться в Google!
Как правильно писать robots.txt? Какие файлы нужно запрещать ('disallow') а какие оставлять открытыми?
Если я неправильно напишу Robot.txt будет ли ошибка в Search Console, или он просто тихо скроет сайт?
Расшифровка robots.txt: User-agent: * = для всех роботов, Disallow: / = запрет на '/' (весь сайт). То есть БЛОКИРУЕТСЯ ВСЕХ роботов — значит, мой сайт скрыт от Google, Bing и всех остальных. УДАЛИ этот файл!
Правильный robots.txt: оставить пустым (ничего не писать) или написать так: User-agent: * Disallow: /admin/ Disallow: /private/ Allow: / Sitemap: https://example.com/sitemap.xml
Это значит: блокируем папки admin и private, разрешаем всё остальное, указываем sitemap для Google.
Уведомление в Search Console: Если robots.txt полностью запрещает сайт, в разделе покрытия (coverage) будет показано 'Excluded by robots.txt'.
исправление: ошибся в цифре, было чуть меньше.
Примеры robots.txt: 1) Запрет директории установки WordPress: Disallow: /wp-admin/, Disallow: /wp-includes/. 2) Приватные файлы: Disallow: /private/. 3) Тестовая страница: Disallow: /test.html. 4) Блок всех ботов: Disallow: / (если хотите, разрешите Googlebot: Allow: / для Googlebot).
у нас на сайте в прошлом году разработчик накосячил и запретил весь сайт в robots.txt и месяц не было никакого трафика из Google, сайт был почти мертв. мы убрали запррет из robots.txt и через 2 недели Google снова начал сканировать трафик вернулся.
вывод: проверяйте robots.txt чаще всего полный запрет весго сайта — это случайная ошибка.
файл robots.txt должен лежать в корне сайта (example.com/robots.txt). если файла нет боты не будут иметь проблем проблема толкьо если он есть но с ошибками. убери немедленно то, что ты написал 'Disallow: /' это скрывает весь сайт.
robots.txt: Если напишешь Disallow: /, ты как бы говоришь Google 'иди на ***'. Google: ок ухожу. 3 месяца не вылезает из Бурсы, трафик ноль, сожаление. Напиши правильно или вообще не трогай.
Коды статуса robots.txt: 200 = сайт работает. 404 = robots.txt нет (не страшно, разрешение по умолчанию). 403 = доступ запрещен. User-agent'ы: * = все боты, Googlebot = роботы Google, Bingbot = Bing.
Согласен хочу даже особо подчеркнуть. Ошибка сделанная на стороне ошибка в robots.txt обычно исправима, но дорого.
Пишите если есть вопросы отвечу по мере возможности.
Прочитал этот ответ и выдохнул: значит, проблема не только у меня. То, что делают все, не значит, что это правильно.
Надеюсь, это будет полезно.
Doki · SEO-консалтинг · 2026
у меня нет опыта в ошибка в robots.txt, поэтому и спрашиваю. спешка в решениях оборачивается исправлениями через полгода.
надеюсь, это будет полезно.
Doki · Корпоративный сайт · 2023
Я маленький бизнес, расскажу со своей стороны. Если позиция в выдаче та же, а кликов стало меньше проблема не в вашей странице а в сниппете.
Исправьте если я ошибаюсь.
у меня нет опыта в ошибка в robots.txt поэтому и спрашиваю... прежде чем принимать решение посмотрите, какие данные у вас есть.
Doki · Настройка управления логами · 2025
Да, по теме ошибка в robots.txt ситуация именно такая. Процесс, по которому не ведется учет, не улучшается, потому что вы не знаете, что именно улучшать.
Удачи.
Обсуждение размылось, давайте структурируем. Не стесняйтесь спрашивать, молчание всегда обходится дороже.
Проверено опытом.
Я долго занимался этим вопросом. При принятии решений записывайте и худший сценарий, а не только лучший.
Если напишете результат здесь, это поможет и другим.