Počítadla počítala roboty
Počítadla tady počítala roboty. Všechna, bez výjimky. Až do tohoto měsíce tu nikdo nedokázal říct kolik, protože to nic neměřilo – a crawler, který si vyžádá obrázek počítadla, vypadá přesně jako člověk, který si vyžádá obrázek počítadla.
Teď se to měří. Čísla jsou horší, než se čekalo.
Co ukazují první dny
Počítání začalo 9. srpna. Napříč všemi počítadly na tomto webu podíl přístupů od crawlerů, a ne od lidí:
- 9. srpna – 1 193 z 16 070 přístupů, asi 7 %
- 10. srpna – 1 624 z 20 181
- 11. srpna – 1 954 z 20 918
- 12. srpna – 2 707 z 22 740, asi 12 %
Někde mezi sedmi a dvanácti procenty tedy. Čtyři dny nejsou trend a jako trend se prezentovat nebudou – výkyvy mohou způsobovat crawlery, nebo rozpoznávání, které zachytí víc, jak roste seznam signatur.
Číslo, které opravdu zarazí
Průměr skrývá tu zajímavou část. Při pohledu na jednotlivá počítadla den po dni bylo změřeno 2 412 dní počítadel a v 631 z nich tvořili většinu započítaných přístupů boti.
Zhruba u čtvrtiny dní počítadel tedy většina „návštěvníků“ nebyli návštěvníci. Tak vypadá tichý web zevnitř: hrstka skutečných lidí a stálá hlídka crawlerů, která nikdy nepřestane, nikdy nespí a nikdy nic nečte.
Na malém webu má teď počet, který stoupá, i když nikdo nemůže číst, své vysvětlení, a to stojí na stránce statistik jako Boti (30 dní).
Jak se rozpoznávají
Podle jména, kterým se klient sám představí. Baiduspider, Googlebot, Amazonbot, AhrefsBot, různé monitory dostupnosti a prosté nástroje, které nepředstírají nic jiného: curl, wget, python-requests, Scrapy. Požadavek, který neuvádí žádné jméno, se také považuje za bota, protože prohlížeče ho uvádějí vždy.
Seznam je záměrně krátký. Zachytí jen jednoznačné signatury, takže slušně vychované crawlery se chytí a crawler, který lže, že je Chrome, ne. Tak je to správně: bot započítaný jako člověk je malá chyba, kdežto člověk vyřazený jako bot jsou data, která už nikdy nelze získat zpět.
Rozhodnutí, které ještě nepadlo
Tady je ta poctivá část. Boti se stále započítávají do celkových součtů. Zobrazují se zvlášť, ale velké číslo na počítadle je stále zahrnuje.
Jejich vyloučení je jediné nastavení a je záměrně vypnuté. Jeho zapnutí by přes noc snížilo viditelný stav každého počítadla na tomto webu zhruba o desetinu, aniž by se kdokoli ptal. U počítadel, která běží od roku 2007 a stala se malým předmětem hrdosti na něčí stránce, není tiché odečtení kusu jejich součtu neutrální technická oprava.
Číslo se proto nejdřív ukazuje. Pokud by se mělo odečítat, a ne jen vykazovat, rádi to uslyšíme – formulář podpory je na tomto webu a na druhé straně je skutečný člověk.