Sitemize gelen bot trafiğini honeypot ile yakalamayı denedik — sonuçlara güvenip ne yapmalıyız?

CSS tarafında gizleme yaparken sadece display: none veya visibility: hidden kullandıysanız modern botlar bunu zaten stil dosyasını okuyarak anlıyor ve es geçiyor. Geriye ya çok ilkel botlar ya da erişilebilirlik yazılımları kalıyor. Gizli alanı ekran dışına itmek (text-indent veya absolute position ile) ve aria-hidden niteliği eklemek yanlış pozitifleri belirgin şekilde azaltır.

Biz geçen yıl benzer bir yapıda honeypot kurmuştuk. Yakaladığımız ilk 800 IP'yi tek tek incelediğimizde bunların 120 tanesinin büyük kurumsal müşterilerimizin ortak internet çıkış IP'si olduğunu gördük. O gün toptan ban atsaydık en çok sipariş veren üç bayimizi siteden tamamen koparmış olacaktık.

edit: telefondan yazdım, yazım hatalarım için kusura bakmayın.

Honeypot yöntemi artık tek başına içerik kazıyıcıları durduramaz... Fiyat çeken profesyonel scraper araçları tam teşekküllü headless tarayıcı çalıştırıyor ve sadece ekranda gercekten görünür olan butonlara tıklıyor. ya yakaladığınız 1.400 IP muhtemelen interneti rastgele tarayan zararsız gürültü trafiğidir asıl verinizi çeken botlar o tuzağa hiç basmamış bile olabilir.

Doğrudan 403 Forbidden vermek yerine tuzağa basan IP'lere sunucu seviyesinde Javascript challenge gösterin. Gerçek insansa tarayıcı bunu saniyenin onda birinde çözer ve siteye girer. ya basit python veya curl tabanlı scraper ise Javascript çalıştıramadığı icin duvara toslar ve sunucunuzu yormayı bırakır.

Sakin olun ve IP seviyesinde toptan banlamaya kesinlikle gitmeyin. Türkiye'de CGNAT kullanımı çok yaygın, dinamik havuzdan tek bir bot IP'sini banladığınızda aynı anda yüzlerce masum ev veya ofis kullanıcısını da dışarıda bırakabilirsiniz. Şüpheli davranışı IP'ye değil, oturum davranışına göre değerlendirin.

düzeltme: rakamı yanlış hatırlamışım, biraz daha düşüktü.

bizde de arama motoru botu takılmıştı neredeyse indexlerimiz siliniyordu, rdns kontrolü şart olmadan kesinlikle engelleem kuralı yazmayın sunucuda

Sayfa altına koyduğunuz gizli linkin rel="nofollow" etiketi var mıydı ve robots.txt dosyasında bu adresi disallowed olarak tanımladınız mı? Eğer robots.txt dosyasına eklemediyseniz arama motoru tarayıcılarının o linki takip etmesi son derece normaldir.

Honeypot formuna görünmez alan eklemek yerine zaman damgası kontrolü koyun; formu 2 saniyenin altında dolduran isteklerin bot olma ihtimali çok daha net ayrışır.

Sonuna kadar katılıyorum. Her şeyi aynı anda değiştirmeye çalışınca hiçbiri oturmuyor.

Kolay gelsin.

sağ olun aradığım cevap buydu.

Geçen yıl neredeyse aynısını yaşadık. Acele karar, altı ay sonra düzeltilen karar oluyor.

Tek bir önleme güvenmeyin; katman katman gidin. Kolay gelsin.

Haklısınız.

Katılıyorum hatta altını çizmek isterim... Kararı verirken elinizde hangi veri var, önce ona bakın.

Yanlışım varsa düzeltin.

kaydettim.

Emeğinize sağlık. Yedeğin aynı ağda ve aynı kimlikle erişilebilir olması, onu hedefin parçası yapıyor.

Bildirim yolu uzunsa bildirim gelmiyor; gelmeyen bildirim geç fark edilen olay demek. Yanlışım varsa düzeltin.

Ben de merak ediyorum.

Sizce bu her ölçekte işler mi? neyse iki hafta boyunca not tutmak altı aylık tahminden iyi sonuç veriyor.

Kendi durumunuz farklıysa tabii değişir.

emeğinize sağlık.