Abbiamo provato a beccare il traffico bot con un honeypot sul sito — possiamo fidarci dei risultati e cosa dovremmo fare?

Se per nascondere il campo via CSS avete usato solo display: none o visibility: hidden, i bot moderni leggono il foglio di stile, lo capiscono e lo evitano. Vi restano dentro solo bot primitivi o software di accessibilità. Spostare l'area nascosta fuori dallo schermo (con text-indent o absolute positioning) e aggiungere l'attributo aria-hidden riduce drasticamente i falsi positivi.

L'anno scorso avevamo impostato un honeypot simile. Analizzando uno per uno i primi 800 IP catturati, abbiamo scoperto che 120 erano IP di uscita condivisi di nostri grandi clienti corporate. Se quel giorno avessimo bannato tutto all'ingrosso, avremmo tagliato fuori dal sito i tre concessionari che ci facevano più ordini in assoluto.

edit: ho scritto da telefono, scusate gli errori di battitura.

Il metodo honeypot da solo ormai non ferma più gli scraper. I tool professionali per estrarre i prezzi usano veri e propri browser headless e cliccano solo sui bottoni effettivamente visibili a schermo. I 1.400 IP che avete beccato sono probabilmente traffico spazzatura che scansiona il web a caso, i bot che vi rubano davvero i dati magari non ci sono nemmeno passati sopra.

Invece di restituire subito un 403 Forbidden, mostrate una Javascript challenge a livello di server agli IP che finiscono nella trappola. Se è un umano, il browser la risolve in un decimo di secondo ed entra nel sito. Se è un semplice scraper in Python o cURL non potendo eseguire JS sbatte contro un muro e smette di appesantire il server.

Calma e non mettetevi assolutamente a fare ban di massa a livello di IP. In Turchia l'uso del CGNAT è diffusissimo: se bannate un singolo IP bot da un pool dinamico rischiate di bloccare contemporaneamente centinaia di normali utenti da casa o dall'ufficio. Valutate il comportamento sospetto in base alla sessione, non all'IP.

correzione: mi ricordavo male il numero, era un po' più basso.

è successo pure a noi con un bot di un motore di ricerca, stavamo x perdere tutte le pagine indicizzate.... mai mettere regole di blocco sul server senza prima fare il controllo rdns

Il link nascosto a fondo pagina aveva il tag rel="nofollow" ed era impostato come disallowed nel robots.txt? Se non l'avete inserito nel robots.txt, è normalissimo che i crawler dei motori di ricerca lo seguano.

Più che aggiungere campi invisibili al form honeypot, mettete un controllo sul timestamp: se il form viene inviato in meno di 2 secondi la probabilità che sia un bot è molto più netta e facile da isolare.

Concordo pienamente. Se cerchi di cambiare tutto insieme, niente si stabilizza.

Buon lavoro.

Grazie mille, era la risposta che cercavo.

L'anno scorso abbiamo vissuto quasi la stessa cosa. Le decisioni affrettate diventano decisioni da correggere sei mesi dopo.

Non fidatevi di una sola misura di sicurezza; procedete per livelli. Buon lavoro.

Ha ragione.

Sono d'accordo anzi vorrei sottolinearlo. Quando prendi una decisione, guarda prima quali dati hai a disposizione.

Correggetemi se sbaglio.

salvato.

Ottimo lavoro. Avere il backup accessibile sulla stessa rete e con le stesse credenziali lo rende parte del bersaglio.

Se il percorso di notifica è lungo, la notifica non arriva; una notifica mancante significa un evento scoperto tardi. Correggetemi se sbaglio.

Mi chiedo anch'io.

Secondo voi funziona a tutte le scale? Prendere appunti per due settimane dà risultati migliori rispetto a una stima di sei mesi.

Naturalmente cambia se la vostra situazione è diversa.

Ottimo lavoro.