Le compteur comptait aussi des robots
Les compteurs comptaient des robots. Tous, sans exception. Jusqu'à ce mois-ci, personne ici n'aurait pu dire combien, parce que rien ne le mesurait — et un robot qui demande une image de compteur ressemble exactement à une personne qui en demande une.
Maintenant, c'est mesuré. Les chiffres sont pires que prévu.
Ce que montrent les premiers jours
Le comptage a débuté le 9 août. Sur l'ensemble des compteurs de ce site, la part des requêtes provenant de robots plutôt que de personnes :
- 9 août — 1 193 sur 16 070 requêtes, environ 7 %
- 10 août — 1 624 sur 20 181
- 11 août — 1 954 sur 20 918
- 12 août — 2 707 sur 22 740, environ 12 %
Quelque part entre sept et douze pour cent, donc. Quatre jours ne font pas une tendance et ne seront pas présentés comme telle — la variation peut venir des robots eux-mêmes, ou de la détection qui en repère davantage à mesure que la liste des signatures s'allonge.
Le chiffre qui est réellement frappant
La moyenne cache la partie intéressante. En regardant les compteurs individuellement, jour par jour, il y a eu 2 412 compteur-jours mesurés, et sur 631 d'entre eux, la majorité des requêtes comptabilisées provenaient de bots.
Sur environ un quart des compteurs-jours, autrement dit, la plupart des « visiteurs » n'étaient pas des visiteurs. C'est à cela que ressemble un site peu fréquenté de l'intérieur : une poignée de personnes réelles, et une patrouille constante de robots qui ne s'arrête jamais, ne dort jamais, et ne lit jamais rien.
Sur un petit site, quand le compteur grimpe alors que personne ne pourrait raisonnablement être en train de lire — voilà la réponse, et elle figure désormais sur la page de statistiques sous le nom Bots (30 days).
Comment ils sont reconnus
Par le nom que le client se donne lui-même. Baiduspider, Googlebot, Amazonbot, AhrefsBot, les divers outils de surveillance de disponibilité, et les outils simples qui ne prétendent pas être autre chose : curl, wget, python-requests, Scrapy. Une requête qui ne donne aucun nom du tout est elle aussi traitée comme un bot, parce que les navigateurs en donnent toujours un.
La liste est délibérément courte. Elle ne fait correspondre que des signatures non ambiguës, ce qui signifie que les robots bien élevés se font repérer, mais pas un robot qui prétend mensongèrement être Chrome. C'est le bon sens des choses : un bot compté comme une personne est une petite erreur, et une personne écartée comme un bot est une donnée définitivement perdue.
La décision qui n'a pas été prise
Voici la partie honnête. Les bots sont toujours comptabilisés dans les totaux. Ils sont affichés séparément pour rester visibles, mais le grand chiffre du compteur les inclut toujours.
Les exclure est une simple option, et elle est délibérément désactivée. L'activer ferait chuter le chiffre visible de chaque compteur de ce site d'environ un dixième, du jour au lendemain, sans que personne n'ait été consulté. Pour des compteurs qui tournent depuis 2007 et sont devenus une petite fierté sur la page de quelqu'un, retrancher discrètement une partie de leur total n'est pas une correction technique neutre.
Le chiffre est donc d'abord affiché tel quel. S'il devait être déduit plutôt que simplement signalé, cela vaut la peine d'en être informé — le formulaire d'assistance se trouve sur ce site, et il y a une vraie personne à l'autre bout.