A számlálók robotokat is számoltak

Az itteni számlálók robotokat is számoltak. Mindegyik, kivétel nélkül. E hónapig senki sem tudta itt megmondani, mennyit, mert semmi sem mérte – és egy robot, amely számlálóképet kér le, pontosan úgy néz ki, mint egy ember, aki számlálóképet kér le.

Most már mérjük. A számok rosszabbak a vártnál.

Amit az első napok mutatnak

A mérés augusztus 9-én kezdődött. Az oldal összes számlálóját együttvéve a robotoktól és nem emberektől származó megtekintések aránya:

• augusztus 9. – 16 070 megtekintésből 1 193, kb. 7%
• augusztus 10. – 20 181-ből 1 624
• augusztus 11. – 20 918-ból 1 954
• augusztus 12. – 22 740-ből 2 707, kb. 12%

Valahol hét és tizenkét százalék között tehát. Négy nap nem trend, és nem is fogjuk annak beállítani – az ingadozás származhat a robotoktól, de abból is, hogy a felismerés egyre többet fog meg, ahogy bővül az aláírások listája.

Az igazán feltűnő szám

Az átlag elrejti az érdekes részt. Ha az egyes számlálókat napról napra nézzük, 2 412 számlálónapot mértünk, és ezek közül 631-en a számolt megtekintések többsége bottól származott.

Vagyis a számlálónapok nagyjából negyedén a „látogatók” többsége nem is látogató volt. Így néz ki belülről egy csendes weboldal: maroknyi valódi ember, és a robotok állandó őrjárata, amely soha nem áll meg, soha nem alszik, és soha nem olvas el semmit.

Egy kis weboldalon annak a számnak, amely akkor is kúszik felfelé, amikor senki sem olvashatja az oldalt, most már van magyarázata, és a statisztikaoldalon így szerepel: Botok (30 nap).

Hogyan ismerjük fel őket

Arról a névről, amellyel a kliens bemutatkozik. Baiduspider, Googlebot, Amazonbot, AhrefsBot, a különféle üzemidő-figyelők, és az egyszerű eszközök, amelyek nem is állítanak mást magukról: curl, wget, python-requests, Scrapy. Az olyan kérést, amely semmilyen nevet nem ad meg, szintén botnak tekintjük, mert a böngészők mindig megadnak egyet.

A lista szándékosan rövid. Csak az egyértelmű aláírásokra illeszkedik, ami azt jelenti, hogy a jól viselkedő robotokat elkapja, azt viszont nem, amelyik Chrome-nak hazudja magát. Ez a helyes irány: az emberként számolt bot kis hiba, a botként eldobott ember viszont olyan adat, amelyet soha nem lehet visszaszerezni.

A döntés, amely még nem született meg

Ez az őszinte rész. A botok továbbra is beleszámítanak az összesítésbe. Külön megjelennek, de a számláló nagy száma még mindig tartalmazza őket.

Kizárásuk egyetlen beállítás, és szándékosan ki van kapcsolva. Ha bekapcsolnánk, az oldal minden számlálójának látható értéke nagyjából egytizedével csökkenne, egyik napról a másikra, anélkül, hogy bárkit megkérdeztünk volna. Azoknál a számlálóknál, amelyek 2007 óta futnak, és valakinek az oldalán kis büszkeséggé váltak, a végösszeg egy darabjának csendes levonása nem semleges technikai korrekció.

Ezért először a számot mutatjuk meg. Ha le kellene vonni, és nem csupán közölni, azt érdemes tudnunk – a támogatási űrlap ezen a weboldalon található, és a túloldalán egy valódi ember ül.