Stránky čtou i roboti

Publikum žádného veřejně přístupného webu se nikdy neskládá jen z lidí. Podstatnou a zcela běžnou část internetového provozu tvoří automatizované programy, obecně známé jako roboti nebo crawlery.

Tyto skripty provozují vyhledávače, archivační projekty a akademické instituce, aby soustavně indexovaly obsah webu. Procházejí internet tak, že sledují odkazy z jednoho dokumentu na další, čtou text a katalogizují struktury.

Protože analyzují zdrojový kód stránky, nevyhnutelně narazí i na vložené odkazy na externí prvky, včetně značek viditelných měřicích nástrojů. To, jak se s těmito automatizovanými návštěvníky zachází, zásadně ovlivňuje přesnost výsledných statistik.

Filtr, který kdysi fungoval sám

Automatizované skripty byly dříve navrhovány tak, aby byly co nejrychlejší a nejúspornější. Stahovaly jen holý text stránky a odkazy na obrázky, soubory stylů či složité skripty úplně ignorovaly.

Za těchto starších podmínek počítání pomocí obrázku přirozeně odfiltrovalo naprostou většinu nelidského provozu. Protože si robot o grafický soubor vůbec neřekl, server žádný přístup nezaznamenal.

Výsledná čísla odrážela jen prohlížeče skutečných lidí, kteří ke čtení stránky vizuální prvky opravdu potřebovali. Tento vestavěný filtr byl jednou z hlavních výhod jednoduché grafiky jako měřidla a nevyžadoval téměř žádnou údržbu.

Když crawler začal prohlížet obrázky

Chování automatizovaných systémů se však výrazně vyvinulo. Moderní vyhledávače potřebují přesně vědět, jak stránka vypadá, aby mohly posoudit její použitelnost, zvlášť na mobilních zařízeních.

Proto jejich crawlery dnes stahují veškerou související grafiku i soubory stylů a vykreslují úplný vizuální snímek stránky.

Tyto důmyslné programy si tedy o měřicí grafiku skutečně řeknou a spustí počítání přesně tak, jako by to udělal lidský návštěvník. Bez kontroly by to zaznamenaná čísla uměle nafukovalo a tichý web farnosti by vypadal nesmírně populárně jen proto, že se vyhledávač rozhodl znovu zaindexovat jeho archiv.

Seznam, se kterým server porovnává

Aby server, který grafiku poskytuje, tomuto nafukování zabránil, musí příchozí požadavky aktivně analyzovat. Automatizované programy se ve standardních údajích, které posílají, obvykle jasně představují konkrétním jménem.

Dobře udržovaný systém počítání porovnává tento identifikační řetězec s rozsáhlým, neustále aktualizovaným seznamem známých podpisů automatů.

Při shodě server grafiku přesto doručí, aby crawler mohl svůj snímek dokončit, požadavek však potichu vyřadí ze skutečného součtu. Díky tomuto oddělení odráží veřejně zobrazené číslo skutečný lidský zájem, a ne neúnavnou činnost indexovacích skriptů.

Podíl, který vždy proklouzne

I přes veškeré filtrování není oddělení nikdy dokonalé. Každý den vznikají nové automatizované nástroje a některé se záměrně maskují, aby vypadaly jako běžné prohlížeče na počítači.

Rozpoznat tyto maskované programy vyžaduje analýzu širších vzorců, například IP adresy, která během několika sekund vyžádá tisíce stránek.

Přesné a bezchybné rozlišení mezi člověkem a velmi chytrým skriptem je sice technicky nemožné, spolehlivý seznam pro filtrování ale odstraní naprostou většinu šumu. Smířit se s tím, že malé procento výsledného čísla může vždy připadat na nerozpoznané automatizované systémy, patří k rozumnému výkladu internetových statistik a k realistické představě o skutečném dosahu.