I roboti čitaju stranice

Publika svakog javno dostupnog sajta nikada nije isključivo ljudska. Znatan i sasvim normalan deo internet saobraćaja čine automatizovani programi, poznati kao roboti ili pretraživački roboti (crawleri).

Te skripte pokreću pretraživači, arhivski projekti i akademske ustanove kako bi sistematski indeksirali sadržaj veba. Kreću se internetom prateći veze od jednog dokumenta do drugog, čitaju tekst i katalogizuju strukture.

Pošto analiziraju izvorni kod stranice, neizbežno nailaze na ugrađene reference na spoljne elemente, uključujući oznake za vidljive alate za merenje. Način na koji se postupa sa tim automatizovanim posetiocima presudno utiče na tačnost dobijene statistike.

Filter koji je nekad radio sam

Istorijski gledano, automatizovane skripte su projektovane da budu što brže i lakše. Preuzimale su samo sirovi tekst stranice i potpuno ignorisale reference na slike, datoteke stilova ili složene skripte.

U tim starijim uslovima brojač zasnovan na slici prirodno je odsecao veliku većinu neljudskog saobraćaja. Pošto robot nikad nije tražio datoteku sa grafikom, server nikada nije zabeležio pregled.

Konačni brojevi odražavali su samo pregledače stvarnih ljudi kojima su vizuelne komponente zaista bile potrebne da bi pročitali stranicu. Ovaj ugrađeni mehanizam filtriranja bio je jedna od velikih prednosti korišćenja obične grafike za merenje, jer praktično nije zahtevao održavanje.

Kada su pretraživački roboti počeli da gledaju slike

Međutim, ponašanje automatizovanih sistema značajno se razvilo. Savremeni pretraživači moraju tačno da razumeju kako stranica izgleda da bi procenili njenu upotrebljivost, naročito na mobilnim uređajima.

Da bi to postigli, njihovi roboti sada preuzimaju sve pripadajuće grafike i datoteke stilova kako bi prikazali potpun vizuelni snimak stranice.

Zbog toga ti napredni programi traže i grafiku za merenje, pokrećući mehanizam brojanja potpuno isto kao ljudski posetilac. Ako se to ne kontroliše, ovakvo ponašanje bi veštački naduvalo zabeležene brojeve, pa bi tihi sajt neke parohije izgledao neverovatno popularan samo zato što je pretraživač odlučio da ponovo indeksira njegovu arhivu.

Lista prema kojoj server proverava

Da bi se suprotstavio tom naduvavanju, server koji isporučuje grafiku mora aktivno da analizira dolazne zahteve. Automatizovani programi se obično jasno predstavljaju u standardnim podacima koje šalju, koristeći određena imena.

Dobro održavan sistem za brojanje proverava taj niz samopredstavljanja prema opsežnoj, stalno ažuriranoj listi poznatih automatizovanih potpisa.

Ako se pronađe podudaranje, server ipak isporučuje grafiku kako bi robot mogao da dovrši svoj snimak, ali zahtev tiho izbacuje iz stvarnog zbira. Ovo razdvajanje obezbeđuje da javni prikaz odražava istinsko interesovanje ljudi, a ne neumornu aktivnost skripti za indeksiranje.

Udeo koji uvek promakne

Uprkos naporima oko filtriranja, razdvajanje nikada nije apsolutno savršeno. Svakog dana nastaju novi automatizovani alati, a neki se aktivno prerušavaju da bi ličili na obične pregledače za računare.

Prepoznavanje tih prerušenih programa zahteva analizu širih obrazaca, kao što je internet adresa koja traži hiljade stranica u roku od nekoliko sekundi.

Iako je savršeno, besprekorno razlikovanje čoveka od veoma pametne skripte tehnički nemoguće, pouzdana lista za filtriranje uklanja veliku većinu šuma. Priznanje da mali procenat konačnog broja uvek može pripadati neprepoznatim automatizovanim sistemima neophodan je deo tumačenja internet statistike i osigurava realno razumevanje stvarnog dometa.