Zähler haben Roboter mitgezählt
Die Zähler hier haben Roboter gezählt. Alle, ausnahmslos. Bis zu diesem Monat konnte hier niemand sagen, wie viele, weil nichts das gemessen hat – und ein Crawler, der ein Zählerbild anfragt, sieht genauso aus wie eine Person, die ein Zählerbild anfragt.
Jetzt wird es gemessen. Die Zahlen sind schlechter als erwartet.
Was die ersten Tage zeigen
Die Zählung begann am 9. August. Über alle Zähler dieser Seite hinweg der Anteil der Treffer, die von Crawlern statt von Menschen stammen:
- 9. August — 1.193 von 16.070 Treffern, etwa 7 %
- 10. August — 1.624 von 20.181
- 11. August — 1.954 von 20.918
- 12. August — 2.707 von 22.740, etwa 12 %
Also irgendwo zwischen sieben und zwölf Prozent. Vier Tage sind kein Trend und werden auch nicht als einer dargestellt – die Schwankung mag an den Crawlern liegen, oder daran, dass die Erkennung mehr erfasst, während die Liste der Signaturen wächst.
Die Zahl, die eigentlich auffällt
Der Durchschnitt verdeckt den interessanten Teil. Bei Betrachtung einzelner Zähler Tag für Tag wurden 2.412 Zähler-Tage gemessen, und an 631 davon war die Mehrheit der gezählten Treffer Bots.
An rund einem Viertel der Zähler-Tage waren die meisten „Besucher“ also gar keine Besucher. So sieht eine stille Seite von innen aus: eine Handvoll echter Menschen und eine stetige Streife von Crawlern, die nie aufhört, nie schläft und nie etwas liest.
Auf einer kleinen Seite hat die Zahl, die steigt, obwohl unmöglich jemand lesen kann, jetzt eine Erklärung – sie steht auf der Statistikseite als Bots (30 Tage).
Wie sie erkannt werden
Anhand des Namens, den der Client sich selbst gibt. Baiduspider, Googlebot, Amazonbot, AhrefsBot, die diversen Uptime-Monitore und die schlichten Werkzeuge, die nichts anderes vorgeben zu sein: curl, wget, python-requests, Scrapy. Eine Anfrage, die überhaupt keinen Namen angibt, wird ebenfalls als Bot behandelt, weil Browser immer einen angeben.
Die Liste ist mit Absicht kurz. Sie trifft nur Kennungen, die eindeutig sind — wohlerzogene Sammler gehen ins Netz, ein Sammler, der sich als Chrome ausgibt, nicht. Das ist die richtige Richtung: ein Bot, der als Mensch gezählt wird, ist ein kleiner Fehler; ein Mensch, der als Bot verworfen wird, sind Daten, die nie wiederkommen.
Die Entscheidung, die noch nicht getroffen wurde
Hier der ehrliche Teil. Bots werden weiterhin in den Gesamtzahlen mitgezählt. Sie werden separat ausgewiesen, aber die große Zahl auf dem Zähler schließt sie weiterhin ein.
Sie auszuschließen ist eine einzige Einstellung, und sie ist bewusst ausgeschaltet. Sie einzuschalten würde die sichtbare Zahl jedes Zählers auf dieser Seite über Nacht um etwa ein Zehntel senken, ohne dass jemand gefragt worden wäre. Bei Zählern, die seit 2007 laufen und zu einem kleinen Stolz auf der Seite von jemandem geworden sind, ist es keine neutrale technische Korrektur, still einen Teil ihrer Gesamtzahl abzuziehen.
Die Zahl wird also zunächst nur angezeigt. Falls sie abgezogen statt nur ausgewiesen werden sollte, ist das etwas, worüber wir gerne hören – das Support-Formular ist auf dieser Seite zu finden, und am anderen Ende sitzt eine echte Person.