Și roboții citesc pagini

Publicul oricărui site accesibil public nu este niciodată exclusiv uman. O parte substanțială și complet normală a traficului de pe internet constă din programe automate, cunoscute în general drept roboți sau crawlere.

Aceste scripturi sunt operate de motoare de căutare, proiecte de arhivare și instituții academice pentru a indexa sistematic conținutul webului. Ele parcurg internetul urmând linkuri de la un document la altul, citind text și catalogând structuri.

Deoarece analizează codul sursă al unei pagini, dau inevitabil peste referințele încorporate către elemente externe, inclusiv peste etichetele folosite de instrumentele de măsurare vizibile. Felul în care sunt tratați acești vizitatori automați influențează profund precizia statisticilor rezultate.

Filtrul care odinioară funcționa de la sine

În trecut, scripturile automate erau concepute să fie cât mai rapide și mai ușoare. Descărcau doar textul brut al unei pagini și ignorau complet orice referințe la imagini, fișiere de stil sau scripturi complexe.

În aceste condiții mai vechi, o numărătoare bazată pe imagine filtra în mod natural marea majoritate a traficului non-uman. Deoarece robotul nu se obosea niciodată să ceară fișierul imagine, serverul nu înregistra nicio accesare.

Cifrele finale reflectau doar browserele oamenilor reali, care chiar aveau nevoie de componentele vizuale pentru a citi pagina. Acest mecanism de filtrare inerent era unul dintre marile avantaje ale folosirii unei simple imagini pentru măsurare și nu necesita practic nicio întreținere.

Când crawlerul a început să se uite la imagini

Comportamentul sistemelor automate a evoluat însă considerabil. Motoarele de căutare moderne trebuie să înțeleagă exact cum arată o pagină pentru a-i evalua ușurința de utilizare, mai ales pe dispozitivele mobile.

Pentru aceasta, crawlerele lor descarcă acum toate imaginile și fișierele de stil asociate, ca să redea un instantaneu vizual complet al paginii.

Prin urmare, aceste programe sofisticate chiar cer imaginea de măsurare și declanșează mecanismul de numărare exact ca un vizitator uman. Nesupravegheat, acest comportament ar umfla artificial cifrele înregistrate și ar face ca site-ul liniștit al unei parohii să pară extrem de popular doar pentru că un motor de căutare a decis să-i reindexeze arhivele.

Lista cu care compară serverul

Pentru a contracara această umflare, serverul care furnizează imaginea trebuie să analizeze activ cererile primite. Programele automate se identifică de obicei clar în datele standard pe care le transmit, folosind nume specifice.

Un sistem de numărare bine întreținut compară acest șir de autoidentificare cu o listă extinsă, actualizată constant, de semnături cunoscute ale programelor automate.

Dacă se găsește o potrivire, serverul livrează totuși imaginea, pentru ca crawlerul să-și poată completa instantaneul, dar elimină în tăcere cererea din numărătoarea propriu-zisă. Această separare face ca afișajul public să reflecte interesul uman real, nu activitatea neobosită a scripturilor de indexare.

Partea care scapă mereu

În ciuda acestor eforturi de filtrare, separarea nu este niciodată absolut perfectă. Zilnic apar noi instrumente automate, iar unele se deghizează intenționat ca să arate ca niște browsere obișnuite de desktop.

Identificarea acestor programe deghizate necesită analiza unor tipare mai largi, cum ar fi o adresă de internet care cere mii de pagini în câteva secunde.

Deși o distincție exactă și fără greș între un om și un script foarte abil este imposibilă din punct de vedere tehnic, o listă de filtrare solidă elimină marea majoritate a zgomotului. A accepta că un mic procent din numărul final poate aparține mereu unor sisteme automate nerecunoscute este o parte necesară a interpretării statisticilor de pe internet și asigură o înțelegere realistă a audienței reale.