Botlar da sayfa okur

Herkese açık bir web sitesinin kitlesi hiçbir zaman yalnızca insanlardan oluşmaz. İnternet trafiğinin hatırı sayılır ve tamamen olağan bir bölümünü, genellikle robot ya da bot olarak bilinen otomatik programlar oluşturur.

Bu betikler, internetteki içeriği sistemli biçimde dizinlemek için arama motorları, arşivleme projeleri ve akademik kurumlar tarafından çalıştırılır. Bir belgeden ötekine giden bağlantıları izleyerek internette dolaşır, metinleri okur ve yapıları kataloglarlar.

Bir sayfanın kaynak kodunu inceledikleri için, görünür ölçüm araçlarında kullanılan etiketler de dâhil olmak üzere dış öğelere yapılan gömülü başvurularla kaçınılmaz olarak karşılaşırlar. Bu otomatik ziyaretçilerin nasıl ele alındığı, ortaya çıkan istatistiklerin doğruluğunu derinden etkiler.

Eskiden kendiliğinden işleyen filtre

Geçmişte otomatik betikler olabildiğince hızlı ve hafif olacak şekilde tasarlanırdı. Bir sayfanın yalnızca ham metnini indirir; görsellere, stil dosyalarına ya da karmaşık betiklere yapılan her türlü başvuruyu tamamen yok sayarlardı.

Bu eski koşullarda görsel tabanlı bir sayaç, insan dışı trafiğin büyük çoğunluğunu doğal olarak ayıklıyordu. Bot görsel dosyasını istemeye hiç zahmet etmediği için sunucu da hiçbir hit kaydetmiyordu.

Sonuçtaki sayılar yalnızca, sayfayı okumak için görsel bileşenlere sahiden ihtiyaç duyan gerçek insanların tarayıcılarını yansıtıyordu. Neredeyse hiç bakım gerektirmeyen ve kendiliğinden işleyen bu ayıklama mekanizması, ölçüm için basit bir görsel kullanmanın başlıca avantajlarından biriydi.

Botlar görsellere bakmaya başlayınca

Ne var ki otomatik sistemlerin davranışı önemli ölçüde değişti. Günümüzün arama motorları, özellikle mobil cihazlarda bir sayfanın kullanılabilirliğini değerlendirmek için sayfanın tam olarak nasıl göründüğünü anlamak zorundadır.

Bunu başarmak için botları artık sayfanın eksiksiz bir anlık görüntüsünü oluşturmak üzere ilgili bütün görselleri ve stil dosyalarını indirir.

Sonuç olarak bu gelişmiş programlar ölçüm görselini de ister ve sayma mekanizmasını tıpkı bir insan ziyaretçi gibi tetikler. Bu davranış denetlenmeden bırakılırsa kaydedilen sayıları yapay olarak şişirir ve sakin bir kilise cemaatinin sitesini, yalnızca bir arama motoru arşivlerini yeniden dizinlemeye karar verdiği için son derece popülermiş gibi gösterir.

Sunucunun karşılaştırdığı liste

Bu şişmeyi önlemek için görseli sunan sunucu, gelen istekleri etkin biçimde incelemelidir. Otomatik programlar gönderdikleri standart verilerde genellikle belirli adlar kullanarak kendilerini açıkça tanıtır.

İyi bakımı yapılan bir sayma sistemi, bu kendini tanıtma dizesini bilinen bot imzalarından oluşan kapsamlı ve sürekli güncellenen bir listeyle karşılaştırır.

Bir eşleşme bulunursa sunucu, bot anlık görüntüsünü tamamlayabilsin diye görseli yine gönderir, ancak isteği asıl sayımdan sessizce çıkarır. Bu ayrım, herkesin gördüğü sayının dizinleme betiklerinin yorulmak bilmez faaliyetini değil, gerçek insan ilgisini yansıtmasını sağlar.

Her zaman gözden kaçan pay

Bu ayıklama çabalarına karşın ayrım hiçbir zaman kusursuz değildir. Her gün yeni otomatik araçlar yazılır ve bunların bir kısmı sıradan masaüstü tarayıcıları gibi görünmek için bilerek kılık değiştirir.

Kılık değiştirmiş bu programları tanımak, birkaç saniye içinde binlerce sayfa isteyen bir IP adresi gibi daha geniş örüntülerin incelenmesini gerektirir.

Bir insanla çok zeki bir betik arasında kesin ve kusursuz bir ayrım yapmak teknik olarak imkânsız olsa da sağlam bir filtre listesi gürültünün büyük çoğunluğunu temizler. Sonuçtaki sayının küçük bir yüzdesinin her zaman tanınmamış otomatik sistemlere ait olabileceğini kabul etmek, internet istatistiklerini yorumlamanın gerekli bir parçasıdır ve fiili erişimin gerçekçi biçimde anlaşılmasını sağlar.