Intentamos atrapar el tráfico de bots con un honeypot en nuestra web: ¿deberíamos confiar en los resultados y qué hacer?

Si al ocultar en CSS solo usaste display: none o visibility: hidden, los bots modernos ya lo detectan al leer el archivo de estilos y se lo saltan. Solo quedan o bots super rudimentarios o software de accesibilidad. Mover el campo oculto fuera de la pantalla (con text-indent o absolute position) y meterle un atributo aria-hidden reduce bastante los falsos positivos.

Nosotros montamos un honeypot en una estructura parecida el año pasado. Al revisar una a una las primeras 800 IPs que cazamos, vimos que 120 de ellas eran la IP de salida compartida de grandes clientes corporativos. Si ese día hubiéramos baneado a lo bruto, habríamos desconectado del sitio a tres de nuestros distribuidores que más piden.

edit: escrito desde el móvil, perdonad las erratas.

El método del honeypot ya no frena por sí solo a los scrapers de contenido. Las herramientas profesionales de scraping que sacan precios ejecutan navegadores headless completos y solo hacen clic en los botones que se ven de verdad en pantalla. Las 1.400 IPs que cazaste probablemente sean solo ruido inofensivo que rastrea internet al azar, puede que los bots que de verdad te roban los datos ni hayan tocado esa trampa.

En vez de soltar un 403 Forbidden directo, pon un Javascript challenge a nivel de servidor a las IPs que pisen la trampa. Si es un humano real, el navegador lo resuelve en un décimo de segundo y entra al sitio. Si es un scraper básico en python o curl al no poder ejecutar Javascript se da contra un muro y deja de saturar tu servidor.

Calma y nada de hacer baneos masivos a nivel de IP. En Turquía se usa muchísimo CGNAT, si baneas una sola IP de bot de un pool dinámico puedes dejar fuera a la vez a cientos de usuarios inocentes de casas u oficinas. Evalúa el comportamiento sospechoso según la sesión, no por la IP.

Corrección: recordaba mal la cifra, era un poco más baja.

a nosotros tb se nos coló un bot de buscador y casi se nos borran los índices, no metáis regla de bloqueo en el servidor sin control rdns ni de coña

¿El enlace oculto del pie de página tenía la etiqueta rel="nofollow" y definiste esa ruta como disallowed en el robots.txt? Si no lo pusiste en el robots.txt, es super normal que los rastreadores de los buscadores sigan ese link.

En vez de añadir un campo invisible al formulario honeypot, pon un control de marca de tiempo (timestamp); las peticiones que rellenan el formulario en menos de 2 segundos se filtran de forma mucho más clara como bots.

Estoy totalmente de acuerdo. Si intentas cambiarlo todo a la vez, nada termina de asentarse.

Ánimo.

Gracias, esa era la respuesta que buscaba.

El año pasado nos pasó casi exactamente lo mismo. Las decisiones apresuradas son las que hay que corregir seis meses después.

No confíes en una sola medida; ve capa por capa. Ánimo.

Tiene razón.

De acuerdo incluso me gustaría recalcarlo. Antes de decidir, mirad qué datos tenéis en la mano.

Corrijanme si me equivoco.

guardado.

Buen trabajo. Que la copia de seguridad sea accesible en la misma red y con la misma identidad la convierte en parte del objetivo.

Si el camino de la notificación es largo, la notificación no llega; una notificación que no llega significa un incidente detectado tarde. Corrijanme si me equivoco.

Yo también tengo curiosidad.

¿Creen que esto funciona a cualquier escala? Tomar notas durante dos semanas da mejores resultados que estimar seis meses.

Por supuesto, cambia si tu situación es diferente.

Buen trabajo.