Roboter lesen auch Seiten

Das Publikum einer öffentlich zugänglichen Website ist niemals ausschließlich menschlich. Ein erheblicher und völlig normaler Teil des Internetverkehrs besteht aus automatisierten Programmen, die allgemein als Roboter oder Crawler bekannt sind.

Diese Skripte werden von Suchmaschinen, Archivierungsprojekten und akademischen Institutionen betrieben, um die Inhalte des Webs systematisch zu indizieren. Sie durchqueren das Internet, indem sie Links von einem Dokument zum anderen folgen, Text lesen und Strukturen katalogisieren.

Da sie den Quellcode einer Seite analysieren, stoßen sie unweigerlich auf die eingebetteten Verweise auf externe Elemente, einschließlich der Tags, die für sichtbare Messwerkzeuge verwendet werden. Wie diese automatisierten Besucher behandelt werden, beeinflusst die Genauigkeit der resultierenden Statistiken tiefgreifend.

Der Filter, der früher von selbst wirkte

Historisch gesehen wurden automatisierte Skripte so konzipiert, dass sie so schnell und leichtgewichtig wie möglich waren. Sie luden nur den Rohtext einer Seite herunter und ignorierten Verweise auf Bilder, Formatvorlagen oder komplexe Skripte vollständig.

Unter diesen älteren Bedingungen filterte eine bildbasierte Zählung naturgemäß die überwiegende Mehrheit des nicht-menschlichen Verkehrs heraus. Da der Roboter sich nie die Mühe machte, die Grafikdatei anzufordern, registrierte der Server nie einen Treffer.

Die endgültigen Zahlen spiegelten nur die Browser von echten Personen wider, die die visuellen Komponenten tatsächlich brauchten, um die Seite zu lesen. Dieser inhärente Filtermechanismus war einer der großen Vorteile der Verwendung einer einfachen Grafik zur Messung, da er praktisch keine Wartung erforderte.

Als der Crawler anfing, Bilder anzusehen

Das Verhalten automatisierter Systeme hat sich jedoch erheblich weiterentwickelt. Moderne Suchmaschinen müssen genau verstehen, wie eine Seite aussieht, um ihre Benutzerfreundlichkeit, insbesondere auf mobilen Geräten, zu bewerten.

Um dies zu erreichen, laden ihre Crawler nun alle zugehörigen Grafiken und Formatvorlagen herunter, um einen vollständigen visuellen Schnappschuss der Seite zu rendern.

Folglich fordern diese ausgeklügelten Programme die Messgrafik an und lösen den Zählmechanismus genau wie ein menschlicher Besucher aus. Wenn dieses Verhalten nicht kontrolliert würde, würde es die aufgezeichneten Zahlen künstlich in die Höhe treiben und eine ruhige Pfarrwebsite nur deshalb als äußerst beliebt erscheinen lassen, weil eine Suchmaschine beschlossen hat, ihre Archive neu zu indizieren.

Die Liste, gegen die der Server prüft

Um dieser Inflation entgegenzuwirken, muss der Server, der die Grafik bereitstellt, die eingehenden Anfragen aktiv analysieren. Automatisierte Programme identifizieren sich normalerweise klar in den standardmäßigen Daten, die sie übertragen, unter Verwendung spezifischer Namen.

Ein gut gepflegtes Zählsystem gleicht diese Selbstidentifikationszeichenfolge mit einer umfangreichen, ständig aktualisierten Liste bekannter automatisierter Signaturen ab.

Wenn eine Übereinstimmung gefunden wird, liefert der Server die Grafik immer noch aus, damit der Crawler seinen Schnappschuss vervollständigen kann, verwirft die Anfrage aber leise aus der eigentlichen Zählung. Diese Trennung stellt sicher, dass die öffentliche Anzeige echtes menschliches Interesse widerspiegelt, anstatt der unermüdlichen Aktivität von Indizierungsskripten.

Der Anteil, der immer durchkommt

Trotz dieser Filterbemühungen ist die Trennung nie absolut perfekt. Jeden Tag werden neue automatisierte Werkzeuge erstellt, und einige tarnen sich aktiv, um wie normale Desktop-Browser auszusehen.

Die Identifizierung dieser getarnten Programme erfordert die Analyse breiterer Muster, wie z. B. einer Internetadresse, die innerhalb weniger Sekunden Tausende von Seiten anfordert.

Während eine genaue, fehlerfreie Unterscheidung zwischen einem Menschen und einem sehr cleveren Skript technisch unmöglich ist, entfernt eine robuste Filterliste die überwiegende Mehrheit des Rauschens. Die Erkenntnis, dass ein kleiner Prozentsatz der endgültigen Zahl immer unerkannter automatisierter Systeme gehören könnte, ist ein notwendiger Teil der Interpretation von Internetstatistiken, um ein realistisches Verständnis der tatsächlichen Reichweite zu gewährleisten.