Aj roboty čítajú stránky

Publikum žiadneho verejne dostupného webu nikdy netvoria výlučne ľudia. Podstatnú a úplne normálnu časť internetovej návštevnosti tvoria automatizované programy, všeobecne známe ako roboty alebo prehľadávacie roboty.

Tieto skripty prevádzkujú vyhľadávače, archivačné projekty a akademické inštitúcie na systematické indexovanie obsahu webu. Prechádzajú internet sledovaním odkazov z jedného dokumentu do druhého, čítajú text a katalogizujú štruktúry.

Keďže analyzujú zdrojový kód stránky, nevyhnutne narazia na vložené odkazy na externé prvky vrátane značiek používaných pre viditeľné meracie nástroje. Spôsob zaobchádzania s týmito automatizovanými návštevníkmi hlboko ovplyvňuje presnosť výsledných štatistík.

Filter, ktorý kedysi fungoval sám

V minulosti sa automatizované skripty navrhovali čo najrýchlejšie a najnenáročnejšie. Sťahovali iba nespracovaný text stránky a úplne ignorovali akékoľvek odkazy na obrázky, súbory štýlov či zložité skripty.

Za týchto starších podmienok obrázkové počítadlo prirodzene odfiltrovalo prevažnú väčšinu návštevnosti, ktorú netvorili ľudia. Keďže sa robot nikdy neunúval vyžiadať grafický súbor, server nikdy nezaznamenal zobrazenie.

Konečné čísla odrážali iba prehliadače skutočných ľudí, ktorí vizuálne zložky naozaj potrebovali na čítanie stránky. Tento prirodzený filtračný mechanizmus bol jednou z hlavných výhod používania jednoduchej grafiky na meranie a nevyžadoval prakticky žiadnu údržbu.

Keď sa prehľadávací robot začal pozerať na obrázky

Správanie automatizovaných systémov sa však výrazne vyvinulo. Moderné vyhľadávače potrebujú presne pochopiť vzhľad stránky, aby posúdili jej použiteľnosť, najmä na mobilných zariadeniach.

Na dosiahnutie tohto cieľa ich prehľadávacie roboty teraz sťahujú všetku pridruženú grafiku a súbory štýlov, aby vykreslili úplnú vizuálnu snímku stránky.

Tieto sofistikované programy si teda meraciu grafiku skutočne vyžiadajú a spustia počítací mechanizmus presne ako ľudský návštevník. Bez kontroly by toto správanie umelo nafukovalo zaznamenané čísla a pokojný farský web by vyzeral mimoriadne obľúbene iba preto, že sa vyhľadávač rozhodol znova indexovať jeho archívy.

Zoznam, s ktorým server porovnáva

Na potlačenie tohto nafukovania musí server poskytujúci grafiku aktívne analyzovať prichádzajúce požiadavky. Automatizované programy sa v štandardných odosielaných údajoch zvyčajne jasne identifikujú konkrétnymi názvami.

Dobre udržiavaný počítací systém porovnáva tento reťazec vlastnej identifikácie s rozsiahlym, neustále aktualizovaným zoznamom známych automatizovaných podpisov.

Ak sa nájde zhoda, server stále doručí grafiku, aby prehľadávací robot mohol dokončiť svoju snímku, ale potichu vynechá požiadavku zo skutočného počtu. Toto oddelenie zabezpečuje, že verejné zobrazenie odráža skutočný záujem ľudí namiesto neúnavnej aktivity indexovacích skriptov.

Podiel, ktorý vždy prekĺzne

Napriek tomuto filtračnému úsiliu oddelenie nikdy nie je absolútne dokonalé. Každý deň vznikajú nové automatizované nástroje a niektoré sa aktívne maskujú, aby vyzerali ako bežné počítačové prehliadače.

Identifikácia týchto zamaskovaných programov vyžaduje analýzu širších vzorcov, napríklad internetovej adresy žiadajúcej tisíce stránok počas niekoľkých sekúnd.

Hoci presné, bezchybné rozlíšenie človeka a veľmi inteligentného skriptu je technicky nemožné, odolný filtračný zoznam odstraňuje prevažnú väčšinu šumu. Uznanie, že malé percento konečného čísla môže vždy patriť nerozpoznaným automatizovaným systémom, je nevyhnutnou súčasťou výkladu internetových štatistík a zabezpečuje realistické pochopenie skutočného dosahu.