Även robotar läser sidor

Publiken för en offentligt tillgänglig webbplats består aldrig enbart av människor. En betydande och helt normal del av trafiken på internet utgörs av automatiserade program, vanligen kallade robotar eller sökrobotar.

Dessa skript drivs av sökmotorer, arkiveringsprojekt och akademiska institutioner för att systematiskt indexera webbens innehåll. De tar sig fram genom internet genom att följa länkar från ett dokument till ett annat, läsa text och katalogisera strukturer.

Eftersom de analyserar en sidas källkod stöter de oundvikligen på de inbäddade hänvisningarna till externa element, även taggarna för synliga mätverktyg. Hur dessa automatiserade besökare hanteras påverkar i hög grad hur exakt den resulterande statistiken blir.

Filtret som en gång fungerade av sig självt

Förr var automatiserade skript byggda för att vara så snabba och lätta som möjligt. De laddade bara ner sidans råa text och ignorerade helt alla hänvisningar till bilder, stilmallar eller komplexa skript.

Under dessa äldre förhållanden filtrerade en bildbaserad räkning naturligt bort den allra största delen av den icke-mänskliga trafiken. Eftersom roboten aldrig brydde sig om att begära bildfilen registrerade servern aldrig någon visning.

De slutliga siffrorna speglade bara webbläsarna hos verkliga människor, som faktiskt behövde de visuella komponenterna för att läsa sidan. Denna inbyggda filtrering var en av de stora fördelarna med att använda en enkel bild för mätning, och den krävde i stort sett inget underhåll.

När sökroboten började titta på bilder

Men automatiserade system har förändrat sitt beteende avsevärt. Moderna sökmotorer behöver förstå exakt hur en sida ser ut för att kunna bedöma hur användbar den är, särskilt på mobila enheter.

För att klara det laddar deras sökrobotar numera ner all tillhörande grafik och alla stilmallar för att kunna återge en fullständig visuell ögonblicksbild av sidan.

Följaktligen begär dessa avancerade program faktiskt mätbilden och utlöser räkningen precis som en mänsklig besökare skulle göra. Utan kontroll skulle detta blåsa upp de registrerade siffrorna på konstgjord väg, så att en stillsam församlingswebbplats framstod som vilt populär bara för att en sökmotor hade bestämt sig för att indexera om dess arkiv.

Listan som servern jämför med

För att motverka denna uppblåsning måste servern som levererar bilden aktivt analysera inkommande förfrågningar. Automatiserade program identifierar sig oftast tydligt med särskilda namn i de standarduppgifter de skickar.

Ett välskött räknesystem jämför denna självidentifiering med en omfattande, ständigt uppdaterad lista över kända robotsignaturer.

Vid en träff levererar servern ändå bilden så att sökroboten kan slutföra sin ögonblicksbild, men den stryker i tysthet förfrågan från själva räkningen. Den här uppdelningen gör att den offentliga siffran speglar verkligt mänskligt intresse och inte indexeringsskriptens outtröttliga aktivitet.

Andelen som alltid slinker igenom

Trots dessa filtreringsinsatser blir uppdelningen aldrig helt perfekt. Nya automatiserade verktyg skapas varje dag, och vissa förklär sig aktivt för att likna vanliga webbläsare på datorer.

För att identifiera sådana förklädda program måste man analysera bredare mönster, till exempel en internetadress som begär tusentals sidor inom några sekunder.

En exakt och felfri åtskillnad mellan en människa och ett mycket smart skript är tekniskt omöjlig, men en robust filterlista tar bort den allra största delen av bruset. Att acceptera att en liten procentandel av den slutliga siffran alltid kan komma från oidentifierade automatiserade system är en nödvändig del av att tolka internetstatistik och ger en realistisk bild av den faktiska räckvidden.