В Google Analytics видны посетители, но все они от ботов. Они жрут ресурсы сервера. Как их отфильтровать?
Как отличить бота от реального юзера? User-agent, IP-адреса... в чем суть?
Есть ли риск, что в рекламе покажут бот-трафик? В платной рекламе есть фейковые клики?
Фильтрация бот-трафика: 25-40% веб-трафика — это боты и вредоносные скраперы. Фильтры: 1) Фильтрация по User-Agent (легитимные: Chrome, Firefox, Safari; подозрительные: неизвестные строки), 2) Поведенческий анализ (бот: одно действие и выход, реальный юзер: несколько страниц + скролл), 3) Rate limiting (бот: >100 запросов/сек, реальный: 1-2 запроса/сек), 4) Репутация IP (известные бот-сети: Googlebot, Bingbot в белый список, остальные блокировать), 5) Challenge-response (CAPTCHA), 6) Файнгерпринтинг (выполнение JavaScript — боты могут его отключать). Фильтрация в аналитике: Google Analytics (Админка → Потоки данных → Фильтрация ботов: включить встроенный список), сторонние инструменты (платный SEO-инструмент, платный SEO-инструмент для детекта бот-трафика). Техника: трекинг через JavaScript (боты часто пропускают), трекинг через куки (боты обычно не принимают куки), honeypot-ссылки (ссылки, скрытые от реальных юзеров, на которые кликают боты). Защита от рекламного фрода: рекламные сети (Google Ads, Facebook Ads) имеют встроенную защиту (детект фрод-скора), стандарты видимости (MRC: Media Rating Council). Метрики для отслеживания: Bounce rate (у ботов высокий), Avg session duration (у ботов низкий), Pages per session (у ботов низкий), Уникальные отпечатки устройств (у ботов нет повторяющихся ID). Карта: тумблер фильтра ботов в аналитике, UTM-параметры (помечать подозрительный трафик), списки блокировки IP (robots.txt + правила WAF).
включи фильтрацию ботов в google analytics она встроенная. короче проверь user-agent'ы блокируй неизвестные строки. настрой rate limiting в фаерволе, блокировать при >50 req/sec. в рекламе может быть клик-фрод сама платформа фильтрует...
Методы обнаружения ботов: 1) Парсинг User-Agent (regex: шаблоны bot, spider, crawler), 2) Репутация IP (запросы к DNSBL: abuseIPDB, локальные черные списки), 3) Поведенческая эвристика (тайминги: просмотры страниц менее секунды = бот), 4) Исполнение JavaScript (боты обычно не могут выполнить JS, отслеживайте это событие), 5) TLS-отпечаток (JA3-фингерпринтинг: у ботов другие шаблоны), 6) Анализ решения капчи (можно выявить сервисы по разгадыванию капчи). Правила WAF (ModSecurity): ограничение скорости (>100 запросов/мин = блокировка), шаблон запросов (быстрые последовательные пути = бот), аномалия в соотношении POST/GET. Сегментация в аналитике: сегмент «Исключить ботов» (функция GA4), сравнение шаблонов трафика ботов и реальных пользователей. Признаки рекламного фрода: высокий CTR (>10%), низкая конверсия (<0.1%), географические аномалии (клики с IP дата-центров).
Включи фильтрацию ботов в Analytics. короче настрой rate limiting на файрволе — больше 50 запросов в минуту = блок. Отбрасывай неизвестные user-agent'ы. Если в рекламе есть фрод, алгоритм платформы его поймает можно вернуть деньги и оптимизировать рекламу...
Классификация бот-трафика: Хорошие боты (краулеры поисковиков, мониторинг — белый список), Плохие боты (скраперы, credential stuffing, DDoS — черный список), Подозрительные (клик-фермы, выявление рекламного фрода). Многоуровневая защита: сетевой уровень (фильтрация IP, ограничение скорости), уровень приложения (CAPTCHA, поведенческий анализ), уровень аналитики (сегментация трафика, обнаружение аномалий). Сегментация в аналитике: создай сегменты ботов и реальных пользователей, анализируй отдельно (шаблоны ботов искажают метрики воронки). Метрики рекламного фрода: соотношение кликов к показам, репутация IP по географии, уникальность отпечатка устройства.
Полностью согласен. При принятии решений записывайте и худший сценарий, а не только лучший.
Если ругать за ложные тревоги, никто больше не будет присылать уведомления. Конечно, если ваша ситуация отличается, всё меняется.
По теме фильтрация бот-трафика так категорично говорить сложно. Изменение платежных данных никогда не подтверждается через тот же канал.
Это мое мнение, не утверждаю, что оно единственно верное.
Doki · Мобильное приложение · 2024
Согласен. Первые три месяца все идет хорошо, проблемы всплывают на четвертом.
Процесс, по которому не ведется учет, не улучшается, потому что вы не знаете, что именно улучшать.
Взял на заметку спасибо. честно большая часть потерь времени копится на задачах, ожидающих согласования.
Пытаться сделать это в одиночку — самый дорогой путь. честно проверено опытом.
Большое спасибо, сегодня попробую. Две недели ведения заметок дают лучший результат чем шестимесячные прогнозы.
Исправьте, если я ошибаюсь.
Сведу тему в кучу, так как ответов было несколько разных. Когда пытаешься изменить всё сразу ничего не приживается.
Исправьте если я ошибаюсь.
Я бы не торопился. Прежде чем принимать решение, посмотрите, какие данные у вас есть.
Конечно, если ваша ситуация отличается, всё меняется.
Расскажу, что было у меня, вдруг пригодится... Если путь уведомления длинный уведомление не приходит; а не пришедшее уведомление — это поздно обнаруженный инцидент.
Я бы пошел этим путем.
По теме фильтрация бот-трафика так категорично говорить сложно. Прежде чем принимать решение, посмотрите, какие данные у вас есть.
Конечно, если ваша ситуация отличается всё меняется.
Если углубиться в детали: Любой пункт, не зафиксированный письменно, в будущем обе стороны будут помнить по-разному.
Я бы пошел этим путем.
Самое упускаемое из вида в теме фильтрация бот-трафика: Чем сложнее отменить решение, тем медленнее его принимайте.
Конечно если ваша ситуация отличается, всё меняется.
Позвольте подвести итог сказанному выше. Первые три месяца все идет хорошо, проблемы всплывают на четвертом.
Решения, работающие в малом масштабе, рушатся при росте, я узнал это слишком поздно.