I roboti čitaju stranice

Publika bilo kojeg javno dostupnog web-mjesta nikada nije isključivo ljudska. Znatan i posve uobičajen dio internetskog prometa čine automatizirani programi, općenito poznati kao roboti ili web-roboti.

Tim skriptama upravljaju tražilice, arhivski projekti i akademske ustanove radi sustavnog indeksiranja sadržaja weba. Kreću se internetom prateći poveznice iz jednog dokumenta u drugi, čitajući tekst i katalogizirajući strukture.

Budući da analiziraju izvorni kod stranice, neizbježno nailaze na ugrađena upućivanja na vanjske elemente, uključujući oznake za vidljive alate za mjerenje. Način obrade tih automatiziranih posjetitelja snažno utječe na točnost dobivene statistike.

Filtar koji je nekoć radio sam od sebe

U prošlosti su automatizirane skripte osmišljavane da budu što brže i lakše. Preuzimale su samo neobrađeni tekst stranice i potpuno zanemarivale sva upućivanja na slike, datoteke stilova ili složene skripte.

U tim nekadašnjim uvjetima brojanje na temelju slike prirodno je filtriralo veliku većinu prometa koji ne potječe od ljudi. Budući da robot nikada nije zatražio grafičku datoteku, poslužitelj nikada nije zabilježio pregled.

Konačni brojevi odražavali su samo preglednike stvarnih ljudi kojima su vizualne komponente doista bile potrebne za čitanje stranice. Taj ugrađeni mehanizam filtriranja bio je jedna od glavnih prednosti upotrebe jednostavne grafike za mjerenje i gotovo da nije zahtijevao održavanje.

Kada je web-robot počeo gledati slike

Međutim, ponašanje automatiziranih sustava znatno se razvilo. Suvremene tražilice moraju točno razumjeti kako stranica izgleda da bi procijenile njezinu upotrebljivost, osobito na mobilnim uređajima.

Kako bi to postigli, njihovi web-roboti sada preuzimaju sve povezane grafike i datoteke stilova radi iscrtavanja cjelovite vizualne snimke stranice.

Posljedično, ti sofisticirani programi doista traže grafiku za mjerenje i pokreću mehanizam brojanja jednako kao ljudski posjetitelj. Bez provjere takvo bi ponašanje umjetno povećalo zabilježene brojeve pa bi mirno župno web-mjesto izgledalo iznimno popularno samo zato što je tražilica odlučila ponovno indeksirati njegove arhive.

Popis s kojim poslužitelj uspoređuje

Kako bi spriječio to povećavanje, poslužitelj koji isporučuje grafiku mora aktivno analizirati dolazne zahtjeve. Automatizirani programi obično se jasno predstavljaju u standardnim podacima koje šalju, koristeći određene nazive.

Dobro održavan sustav brojanja uspoređuje taj niz za samopredstavljanje s opsežnim popisom poznatih automatiziranih potpisa koji se stalno ažurira.

Ako se pronađe podudaranje, poslužitelj i dalje isporučuje grafiku kako bi web-robot mogao dovršiti snimku, ali neprimjetno odbacuje zahtjev iz stvarnog zbroja. To razdvajanje osigurava da javni prikaz odražava stvarni ljudski interes umjesto neumorne aktivnosti skripti za indeksiranje.

Udio koji uvijek promakne

Unatoč tim naporima filtriranja, razdvajanje nikada nije potpuno savršeno. Svakodnevno nastaju novi automatizirani alati, a neki se aktivno prerušavaju kako bi izgledali kao uobičajeni stolni preglednici.

Prepoznavanje tih prikrivenih programa zahtijeva analizu širih obrazaca, poput internetske adrese koja traži tisuće stranica u nekoliko sekundi.

Iako je točno, besprijekorno razlikovanje čovjeka od vrlo pametne skripte tehnički nemoguće, pouzdan popis za filtriranje uklanja veliku većinu šuma. Prihvaćanje da malen postotak konačnog broja možda uvijek pripada neprepoznatim automatiziranim sustavima nužan je dio tumačenja internetske statistike i osigurava realistično razumijevanje stvarnog dosega.