Robots lezen ook pagina's

Het publiek van een openbaar toegankelijke website is nooit uitsluitend menselijk. Een flink en volstrekt gewoon deel van het internetverkeer bestaat uit automatische programma's, meestal robots of crawlers genoemd.

Die scripts worden gedraaid door zoekmachines, archiveringsprojecten en wetenschappelijke instellingen om de inhoud van het web stelselmatig te indexeren. Ze doorkruisen het internet door links van het ene document naar het andere te volgen, tekst te lezen en structuren te catalogiseren.

Omdat ze de broncode van een pagina ontleden, komen ze onvermijdelijk de verwijzingen naar externe onderdelen tegen, inclusief de tags voor zichtbare meetgereedschappen. Hoe met die automatische bezoekers omgegaan wordt, raakt de nauwkeurigheid van de statistieken diepgaand.

Het filter dat vroeger vanzelf werkte

Van oudsher waren automatische scripts zo snel en licht mogelijk gebouwd. Ze downloadden alleen de rauwe tekst van een pagina en gingen volledig voorbij aan verwijzingen naar afbeeldingen, stijlbestanden of ingewikkelde scripts.

Onder die oudere omstandigheden filterde een telling op basis van een afbeelding vanzelf het overgrote deel van het niet-menselijke verkeer weg. Omdat de robot het grafische bestand nooit opvroeg, legde de server nooit een treffer vast.

De uiteindelijke getallen weerspiegelden alleen de browsers van echte mensen die de visuele onderdelen werkelijk nodig hadden om de pagina te lezen. Dat ingebouwde filter was een van de grote voordelen van een eenvoudig plaatje als meetmiddel, en het vroeg vrijwel geen onderhoud.

Toen de crawler naar plaatjes begon te kijken

Het gedrag van automatische systemen is echter flink veranderd. Moderne zoekmachines moeten precies begrijpen hoe een pagina eruitziet om de bruikbaarheid ervan te beoordelen, vooral op mobiele apparaten.

Daarom downloaden hun crawlers nu alle bijbehorende plaatjes en stijlbestanden om een complete visuele momentopname van de pagina te maken.

Die verfijnde programma's vragen dus wel degelijk om het meetplaatje, waarmee ze het telmechanisme net zo in gang zetten als een menselijke bezoeker. Zonder tegenmaatregel zou dat gedrag de vastgelegde getallen kunstmatig opblazen en een stille parochiewebsite razend populair doen lijken, alleen maar omdat een zoekmachine besloot haar archieven opnieuw te indexeren.

De lijst waartegen de server nakijkt

Om die opblazing tegen te gaan, moet de server die het plaatje levert de binnenkomende aanvragen actief ontleden. Automatische programma's melden zichzelf doorgaans duidelijk met bepaalde namen in de gewone gegevens die ze meesturen.

Een goed onderhouden telsysteem houdt die zelfmelding tegen een uitgebreide, voortdurend bijgewerkte lijst met bekende automatische kenmerken.

Bij een treffer levert de server het plaatje nog steeds af zodat de crawler zijn momentopname kan afmaken, maar hij laat de aanvraag geruisloos uit de eigenlijke telling vallen. Die scheiding zorgt ervoor dat de openbare weergave echte menselijke belangstelling weerspiegelt en niet de onvermoeibare bedrijvigheid van indexeringsscripts.

Het deel dat er altijd doorheen glipt

Ondanks dat filteren is de scheiding nooit volstrekt volmaakt. Er worden elke dag nieuwe automatische gereedschappen gemaakt, en sommige vermommen zich actief als gewone bureaubladbrowsers.

Die vermomde programma's herkennen vraagt om bredere patronen te ontleden, bijvoorbeeld een internetadres dat binnen enkele seconden duizenden pagina's opvraagt.

Een exacte, feilloze scheiding tussen een mens en een heel slim script is technisch onmogelijk, maar een stevige filterlijst haalt het overgrote deel van de ruis weg. Erkennen dat een klein deel van het uiteindelijke getal altijd bij onherkende automatische systemen kan horen, hoort bij het lezen van internetstatistiek en zorgt voor een realistisch beeld van het werkelijke bereik.