Roboty też czytają strony

Odbiorcy każdej publicznie dostępnej strony internetowej nigdy nie są wyłącznie ludźmi. Znaczna i całkowicie normalna część ruchu internetowego składa się z automatycznych programów, ogólnie znanych jako roboty lub crawlery.

Skrypty te są obsługiwane przez wyszukiwarki, projekty archiwizacyjne i instytucje akademickie w celu systematycznego indeksowania zawartości sieci. Przemierzają one Internet, podążając za linkami z jednego dokumentu do drugiego, czytając tekst i katalogując struktury.

Ponieważ analizują kod źródłowy strony, nieuchronnie napotykają na osadzone odniesienia do elementów zewnętrznych, w tym tagów używanych do widocznych narzędzi pomiarowych. Sposób postępowania z tymi automatycznymi gośćmi ma głęboki wpływ na dokładność wynikowych statystyk.

Filtr, który kiedyś działał sam

Historycznie, zautomatyzowane skrypty były projektowane tak, aby były jak najszybsze i najlżejsze. Pobierały one tylko surowy tekst strony i całkowicie ignorowały wszelkie odniesienia do obrazów, plików stylów lub złożonych skryptów.

W tych starszych warunkach, zliczanie oparte na obrazach w naturalny sposób odfiltrowywało zdecydowaną większość ruchu nieludzkiego. Ponieważ robot nigdy nie zawracał sobie głowy żądaniem pliku graficznego, serwer nigdy nie rejestrował trafienia.

Ostateczne liczby odzwierciedlały jedynie przeglądarki prawdziwych ludzi, którzy faktycznie potrzebowali komponentów wizualnych do przeczytania strony. Ten nieodłączny mechanizm filtrowania był jedną z głównych zalet stosowania prostej grafiki do pomiarów, praktycznie nie wymagając żadnej konserwacji.

Gdy robot zaczął oglądać obrazki

Jednak zachowanie zautomatyzowanych systemów znacznie ewoluowało. Nowoczesne wyszukiwarki muszą dokładnie rozumieć, jak wygląda strona, aby ocenić jej użyteczność, zwłaszcza na urządzeniach mobilnych.

Aby to osiągnąć, ich roboty pobierają teraz wszystkie powiązane grafiki i pliki stylów, aby wyrenderować kompletną wizualną migawkę strony.

W konsekwencji te wyrafinowane programy żądają grafiki pomiarowej, uruchamiając mechanizm liczący dokładnie tak, jak zrobiłby to ludzki gość. Bez kontroli, to zachowanie sztucznie zawyżyłoby zarejestrowane liczby, sprawiając, że cicha strona parafii wydawałaby się szalenie popularna tylko dlatego, że wyszukiwarka postanowiła ponownie zindeksować swoje archiwa.

Lista, z którą serwer porównuje

Aby przeciwdziałać tej inflacji, serwer dostarczający grafikę musi aktywnie analizować nadchodzące żądania. Zautomatyzowane programy zazwyczaj jasno identyfikują się w standardowych danych, które przesyłają, używając określonych nazw.

Dobrze utrzymany system liczenia porównuje ten ciąg samoidentyfikacji z obszerną, stale aktualizowaną listą znanych automatycznych podpisów.

Jeśli zostanie znaleziona zgoda, serwer nadal dostarcza grafikę, aby crawler mógł ukończyć swoją migawkę, ale cicho odrzuca żądanie z rzeczywistego zestawienia. Ta separacja gwarantuje, że publiczny wyświetlacz odzwierciedla autentyczne ludzkie zainteresowanie, a nie niestrudzoną aktywność skryptów indeksujących.

Część, która zawsze się prześlizgnie

Pomimo tych wysiłków związanych z filtrowaniem, separacja nigdy nie jest absolutnie idealna. Nowe zautomatyzowane narzędzia powstają każdego dnia, a niektóre aktywnie maskują się, by wyglądać jak zwykłe przeglądarki na komputery stacjonarne.

Identyfikacja tych zamaskowanych programów wymaga analizy szerszych wzorców, takich jak adres internetowy żądający tysięcy stron w ciągu kilku sekund.

Podczas gdy dokładne, bezbłędne odróżnienie człowieka od bardzo inteligentnego skryptu jest technicznie niemożliwe, solidna lista filtrowania usuwa zdecydowaną większość szumu. Uznanie, że niewielki procent ostatecznej liczby może zawsze należeć do nierozpoznanych systemów zautomatyzowanych, jest niezbędną częścią interpretacji statystyk internetowych, zapewniając realistyczne zrozumienie faktycznego zasięgu.