A robotok is olvassák az oldalakat

Egy nyilvánosan elérhető weboldal közönsége sosem kizárólag emberekből áll. Az internetes forgalom jelentős és teljesen szokásos részét automatizált programok adják, amelyeket általában robotoknak vagy crawlereknek neveznek.

Ezeket a szkripteket keresőmotorok, archiváló projektek és tudományos intézmények üzemeltetik, hogy rendszerezetten indexeljék a web tartalmát. Úgy járják be az internetet, hogy linkről linkre haladnak egyik dokumentumtól a másikig, szöveget olvasnak, és katalogizálják a szerkezeteket.

Mivel egy oldal forráskódját elemzik, elkerülhetetlenül rábukkannak a külső elemekre mutató beágyazott hivatkozásokra is, köztük a látható mérőeszközökhöz használt HTML-elemekre. Az, hogy miként kezeljük ezeket az automatizált látogatókat, alapvetően befolyásolja a kapott statisztika pontosságát.

A szűrő, amely egykor magától működött

Régebben az automatizált szkripteket úgy tervezték, hogy a lehető leggyorsabbak és legkönnyebbek legyenek. Csak az oldal nyers szövegét töltötték le, a képekre, stílusfájlokra vagy összetett szkriptekre mutató hivatkozásokat pedig teljesen figyelmen kívül hagyták.

Ilyen körülmények között a képalapú számlálás magától kiszűrte a nem emberi forgalom túlnyomó részét. Mivel a robot nem vette a fáradságot, hogy lekérje a grafikus fájlt, a szerver nem is rögzített megtekintést.

A végső számok csak azoknak a valódi embereknek a böngészőit tükrözték, akiknek ténylegesen szükségük volt a vizuális elemekre az oldal olvasásához. Ez a beépített szűrőmechanizmus volt az egyszerű mérőgrafika egyik fő előnye, és gyakorlatilag semmilyen karbantartást nem igényelt.

Amikor a robot elkezdte nézni a képeket

Az automatizált rendszerek viselkedése azonban jelentősen megváltozott. A modern keresőmotoroknak pontosan érteniük kell, hogyan néz ki egy oldal, hogy felmérhessék a használhatóságát, különösen mobileszközökön.

Ehhez robotjaik ma már az összes kapcsolódó grafikát és stílusfájlt letöltik, hogy teljes vizuális pillanatképet készítsenek az oldalról.

Ezek a fejlett programok tehát igenis lekérik a mérőgrafikát, és pontosan úgy indítják el a számlálást, ahogyan egy emberi látogató tenné. Ha ez ellenőrzés nélkül maradna, mesterségesen felfújná a rögzített számokat, és egy csendes plébániai weboldal pusztán azért tűnne rendkívül népszerűnek, mert egy keresőmotor úgy döntött, hogy újraindexeli az archívumát.

A lista, amellyel a szerver összevet

E felfújódás ellen a grafikát kiszolgáló szervernek aktívan elemeznie kell a beérkező kéréseket. Az automatizált programok általában egyértelműen, konkrét nevekkel azonosítják magukat az általuk küldött szabványos adatokban.

Egy jól karbantartott számlálórendszer ezt az önazonosító karakterláncot az ismert automatizált aláírások kiterjedt, folyamatosan frissített listájával veti össze.

Egyezés esetén a szerver továbbra is kiszolgálja a grafikát, hogy a robot elkészíthesse a pillanatképét, a kérést azonban csendben kihagyja a tényleges számlálásból. Ez a szétválasztás biztosítja, hogy a nyilvános kijelzés a valódi emberi érdeklődést tükrözze, ne pedig az indexelő szkriptek fáradhatatlan tevékenységét.

A hányad, amely mindig átcsúszik

Minden szűrési erőfeszítés ellenére a szétválasztás sosem teljesen tökéletes. Nap mint nap új automatizált eszközök születnek, és némelyik tudatosan álcázza magát, hogy hagyományos asztali böngészőnek tűnjön.

Ezeknek az álcázott programoknak az azonosításához tágabb mintázatokat kell elemezni, például azt, ha egy internetcím néhány másodperc alatt több ezer oldalt kér le.

Bár az ember és egy nagyon ügyes szkript pontos, hibátlan megkülönböztetése technikailag lehetetlen, egy megbízható szűrőlista a zaj túlnyomó részét eltávolítja. Az internetes statisztikák értelmezésének szükséges része annak elfogadása, hogy a végső szám kis százaléka mindig fel nem ismert automatizált rendszerekhez tartozhat – így alakulhat ki reális kép a tényleges elérésről.