Les robots lisent aussi les pages

L'audience d'un site web accessible au public n'est jamais exclusivement humaine. Une partie substantielle et tout à fait normale du trafic Internet consiste en des programmes automatisés, généralement appelés robots ou robots d'exploration.

Ces scripts sont exploités par des moteurs de recherche, des projets d'archivage et des institutions académiques pour indexer systématiquement le contenu du web. Ils parcourent Internet en suivant les liens d'un document à l'autre, en lisant des textes et en cataloguant les structures.

Puisqu'ils analysent le code source d'une page, ils rencontrent inévitablement les références intégrées à des éléments externes, y compris les balises utilisées pour les outils de mesure visibles. La façon dont ces visiteurs automatisés sont traités affecte profondément l'exactitude des statistiques résultantes.

Le filtre qui fonctionnait tout seul

Historiquement, les scripts automatisés ont été conçus pour être aussi rapides et légers que possible. Ils ne téléchargeaient que le texte brut d'une page et ignoraient complètement toute référence à des images, des fichiers de style ou des scripts complexes.

Dans ces conditions plus anciennes, un comptage basé sur l'image filtrait naturellement la grande majorité du trafic non humain. Puisque le robot ne prenait jamais la peine de demander le fichier graphique, le serveur n'enregistrait jamais d'accès.

Les chiffres finaux ne reflétaient que les navigateurs de personnes réelles qui avaient réellement besoin des composants visuels pour lire la page. Ce mécanisme de filtrage inhérent était l'un des avantages majeurs de l'utilisation d'un simple graphique pour la mesure, ne nécessitant pratiquement aucune maintenance.

Quand le robot s'est mis à regarder les images

Cependant, le comportement des systèmes automatisés a considérablement évolué. Les moteurs de recherche modernes doivent comprendre exactement à quoi ressemble une page pour en évaluer la convivialité, en particulier sur les appareils mobiles.

Pour y parvenir, leurs robots d'exploration téléchargent désormais tous les graphiques et fichiers de style associés pour afficher un instantané visuel complet de la page.

Par conséquent, ces programmes sophistiqués demandent le graphique de mesure, déclenchant le mécanisme de comptage exactement comme le ferait un visiteur humain. Si rien n'est fait, ce comportement gonflerait artificiellement les chiffres enregistrés, rendant un site web paroissial calme extrêmement populaire simplement parce qu'un moteur de recherche a décidé de réindexer ses archives.

La liste que le serveur consulte

Pour contrer cette inflation, le serveur fournissant le graphique doit analyser activement les demandes entrantes. Les programmes automatisés s'identifient généralement clairement dans les données standard transmises, en utilisant des noms spécifiques.

Un système de comptage bien entretenu vérifie cette chaîne d'auto-identification par rapport à une liste étendue et constamment mise à jour de signatures automatisées connues.

Si une correspondance est trouvée, le serveur livre toujours le graphique pour que le robot d'exploration puisse terminer son instantané, mais rejette silencieusement la demande du décompte réel. Cette séparation garantit que l'affichage public reflète un véritable intérêt humain plutôt que l'activité inlassable des scripts d'indexation.

La part qui passe toujours

Malgré ces efforts de filtrage, la séparation n'est jamais absolument parfaite. De nouveaux outils automatisés sont créés chaque jour, et certains se déguisent activement pour ressembler à des navigateurs de bureau habituels.

L'identification de ces programmes déguisés nécessite l'analyse de modèles plus larges, comme une adresse Internet demandant des milliers de pages en quelques secondes.

Bien qu'une distinction exacte et sans faille entre un humain et un script très intelligent soit techniquement impossible, une liste de filtrage robuste élimine la grande majorité du bruit. Reconnaître qu'un faible pourcentage du nombre final peut toujours appartenir à des systèmes automatisés non reconnus est un élément nécessaire de l'interprétation des statistiques Internet, garantissant une compréhension réaliste de la portée réelle.