Tellers hebben robots geteld
Tellers hier hebben robots geteld. Allemaal, zonder uitzondering. Tot deze maand kon hier niemand zeggen hoeveel, omdat niets het mat — en een crawler die een tellerafbeelding opvraagt, ziet er precies zo uit als een mens die een tellerafbeelding opvraagt.
Nu wordt het gemeten. De cijfers zijn slechter dan verwacht.
Wat de eerste dagen laten zien
Het tellen begon op 9 augustus. Over alle tellers op deze site heen, het aandeel treffers dat van crawlers kwam en niet van mensen:
- 9 augustus — 1.193 van 16.070 treffers, ongeveer 7%
- 10 augustus — 1.624 van 20.181
- 11 augustus — 1.954 van 20.918
- 12 augustus — 2.707 van 22.740, ongeveer 12%
Ergens tussen zeven en twaalf procent dus. Vier dagen is geen trend en wordt hier ook niet als trend gepresenteerd — de schommeling kan aan de crawlers liggen, of aan een herkenning die er meer vangt naarmate de lijst met handtekeningen groeit.
Het getal dat werkelijk opvalt
Het gemiddelde verbergt het interessante deel. Kijkend naar afzonderlijke tellers, dag voor dag: er zijn 2.412 tellerdagen gemeten, en op 631 daarvan was de meerderheid van de getelde treffers een bot.
Op ruwweg een kwart van de tellerdagen was met andere woorden het merendeel van de "bezoekers" geen bezoeker. Zo ziet een stille site er van binnen uit: een handvol echte mensen, en een gestage patrouille van crawlers die nooit ophoudt, nooit slaapt en nooit iets leest.
Op een kleine site heeft het aantal dat oploopt terwijl er onmogelijk iemand kan zitten lezen, nu een verklaring, en die staat op de statistiekpagina als Bots (30 dagen).
Hoe ze herkend worden
Aan de naam die de client zichzelf geeft. Baiduspider, Googlebot, Amazonbot, AhrefsBot, de diverse uptimemonitors, en de eenvoudige gereedschappen die niet anders voorwenden: curl, wget, python-requests, Scrapy. Een aanvraag die helemaal geen naam geeft, wordt eveneens als bot behandeld, want browsers geven er altijd een.
De lijst is met opzet kort. Hij herkent alleen handtekeningen die eenduidig zijn, wat betekent dat nette crawlers gevangen worden en een crawler die over Chrome liegt niet. Dat is de juiste kant op: een bot die als mens geteld wordt is een kleine fout, en een mens die als bot wordt weggegooid is een gegeven dat nooit meer terug te halen is.
Het besluit dat nog niet genomen is
Hier komt het eerlijke deel. Bots tellen nog steeds mee in de totalen. Ze worden apart getoond, maar het grote getal op de teller telt ze nog gewoon mee.
Ze uitsluiten is één instelling, en die staat met opzet uit. Hem aanzetten zou het zichtbare aantal van elke teller op deze site van de ene op de andere dag met ongeveer een tiende laten dalen, zonder dat er iemand iets gevraagd is. Voor tellers die sinds 2007 lopen en op iemands pagina een kleine trots geworden zijn, is stilletjes een stuk van hun totaal aftrekken geen neutrale technische correctie.
Dus wordt het getal eerst getoond. Vindt u dat het afgetrokken zou moeten worden in plaats van alleen gemeld, dan horen wij dat graag — het contactformulier staat op deze site, en aan de andere kant zit een echt mens.