Räknarna har räknat robotar
Räknarna här har räknat robotar. Allihop, utan undantag. Fram till den här månaden kunde ingen här säga hur många, eftersom ingenting mätte det – och en sökrobot som begär en räknarbild ser exakt likadan ut som en människa som begär en räknarbild.
Nu mäts det. Siffrorna är sämre än väntat.
Vad de första dagarna visar
Mätningen började den 9 augusti. För alla räknare på den här webbplatsen var andelen visningar som kom från sökrobotar och inte från människor:
- 9 augusti – 1 193 av 16 070 visningar, ungefär 7 %
- 10 augusti – 1 624 av 20 181
- 11 augusti – 1 954 av 20 918
- 12 augusti – 2 707 av 22 740, ungefär 12 %
Någonstans mellan sju och tolv procent, alltså. Fyra dagar är ingen trend och kommer inte att presenteras som en – variationen kan bero på sökrobotarna, eller på att identifieringen fångar fler i takt med att listan över signaturer växer.
Siffran som verkligen sticker ut
Genomsnittet döljer den intressanta delen. Tittar man på enskilda räknare dag för dag fanns det 2 412 uppmätta räknardagar, och på 631 av dem var majoriteten av de räknade visningarna bottar.
På ungefär en fjärdedel av räknardagarna var alltså de flesta ”besökarna” inga besökare. Så ser en lugn webbplats ut inifrån: en handfull riktiga människor och en jämn patrull av sökrobotar som aldrig stannar, aldrig sover och aldrig läser någonting.
På en liten webbplats har siffran som kryper uppåt när ingen rimligen kan läsa nu en förklaring, och den står på statistiksidan som Bottar (30 dagar).
Hur de känns igen
På namnet som klienten uppger för sig själv. Baiduspider, Googlebot, Amazonbot, AhrefsBot, de olika tjänsterna för drifttidsövervakning och de enkla verktygen som inte låtsas vara något annat: curl, wget, python-requests, Scrapy. Ett anrop som inte uppger något namn alls behandlas också som en bot, eftersom webbläsare alltid uppger ett.
Listan är medvetet kort. Den matchar bara signaturer som är entydiga, vilket innebär att väluppfostrade sökrobotar fångas medan en sökrobot som ljuger om att vara Chrome inte gör det. Det är rätt håll att fela åt: en bot som räknas som en människa är ett litet fel, och en människa som kastas bort som en bot är data som aldrig går att få tillbaka.
Beslutet som inte har fattats
Här är den ärliga delen. Bottar räknas fortfarande in i totalerna. De visas separat, men den stora siffran på räknaren inkluderar dem fortfarande.
Att utesluta dem är en enda inställning, och den är medvetet avstängd. Att slå på den skulle sänka den synliga siffran på varje räknare på den här webbplatsen med ungefär en tiondel, över en natt, utan att någon hade tillfrågats. För räknare som har gått sedan 2007 och blivit en liten källa till stolthet på någons sida är det ingen neutral teknisk korrigering att i tysthet dra av en del av totalen.
Därför visas siffran först. Om den borde dras av i stället för att bara redovisas vill vi gärna höra det – supportformuläret finns på den här webbplatsen, och det sitter en riktig människa i andra änden.