Και τα ρομπότ διαβάζουν σελίδες

Το κοινό ενός δημόσια προσβάσιμου ιστοτόπου δεν είναι ποτέ αποκλειστικά ανθρώπινο. Ένα σημαντικό και απολύτως φυσιολογικό μέρος της κίνησης στο διαδίκτυο αποτελείται από αυτοματοποιημένα προγράμματα, γνωστά γενικά ως ρομπότ ή ανιχνευτές (crawlers).

Τα προγράμματα αυτά τα λειτουργούν μηχανές αναζήτησης, έργα αρχειοθέτησης και ακαδημαϊκά ιδρύματα, για να ευρετηριάζουν συστηματικά το περιεχόμενο του ιστού. Διασχίζουν το διαδίκτυο ακολουθώντας συνδέσμους από το ένα έγγραφο στο άλλο, διαβάζοντας κείμενα και καταγράφοντας δομές.

Επειδή αναλύουν τον πηγαίο κώδικα μιας σελίδας, συναντούν αναπόφευκτα τις ενσωματωμένες αναφορές σε εξωτερικά στοιχεία, μεταξύ αυτών και τις ετικέτες που χρησιμοποιούνται για ορατά εργαλεία μέτρησης. Ο τρόπος με τον οποίο αντιμετωπίζονται αυτοί οι αυτοματοποιημένοι επισκέπτες επηρεάζει βαθιά την ακρίβεια των στατιστικών που προκύπτουν.

Το φίλτρο που κάποτε λειτουργούσε από μόνο του

Παλαιότερα, τα αυτοματοποιημένα προγράμματα σχεδιάζονταν ώστε να είναι όσο το δυνατόν πιο γρήγορα και ελαφριά. Κατέβαζαν μόνο το σκέτο κείμενο μιας σελίδας και αγνοούσαν εντελώς κάθε αναφορά σε εικόνες, αρχεία μορφοποίησης ή σύνθετα σενάρια κώδικα.

Υπό αυτές τις παλαιότερες συνθήκες, μια καταμέτρηση μέσω εικόνας φιλτράριζε από τη φύση της τη συντριπτική πλειονότητα της μη ανθρώπινης κίνησης. Αφού το ρομπότ δεν έμπαινε ποτέ στον κόπο να ζητήσει το αρχείο του γραφικού, ο διακομιστής δεν κατέγραφε ποτέ προβολή.

Οι τελικοί αριθμοί αντανακλούσαν μόνο τα προγράμματα περιήγησης πραγματικών ανθρώπων, που χρειάζονταν πράγματι τα οπτικά στοιχεία για να διαβάσουν τη σελίδα. Αυτός ο εγγενής μηχανισμός φιλτραρίσματος ήταν ένα από τα μεγάλα πλεονεκτήματα της μέτρησης με ένα απλό γραφικό, αφού δεν απαιτούσε σχεδόν καμία συντήρηση.

Όταν ο ανιχνευτής άρχισε να κοιτάζει εικόνες

Ωστόσο, η συμπεριφορά των αυτοματοποιημένων συστημάτων έχει εξελιχθεί σημαντικά. Οι σύγχρονες μηχανές αναζήτησης πρέπει να καταλαβαίνουν ακριβώς πώς φαίνεται μια σελίδα για να αξιολογήσουν τη χρηστικότητά της, ιδίως σε κινητές συσκευές.

Για τον σκοπό αυτό, οι ανιχνευτές τους κατεβάζουν πλέον όλα τα σχετικά γραφικά και αρχεία μορφοποίησης, ώστε να αποδώσουν ένα πλήρες οπτικό στιγμιότυπο της σελίδας.

Κατά συνέπεια, αυτά τα εξελιγμένα προγράμματα ζητούν πράγματι το γραφικό μέτρησης και ενεργοποιούν τον μηχανισμό καταμέτρησης ακριβώς όπως θα έκανε ένας άνθρωπος επισκέπτης. Αν δεν ελεγχθεί, αυτή η συμπεριφορά θα διόγκωνε τεχνητά τους καταγεγραμμένους αριθμούς και θα έκανε έναν ήσυχο ιστότοπο ενορίας να φαίνεται εξαιρετικά δημοφιλής, απλώς επειδή μια μηχανή αναζήτησης αποφάσισε να ευρετηριάσει ξανά το αρχείο του.

Η λίστα με την οποία συγκρίνει ο διακομιστής

Για να αντιμετωπίσει αυτή τη διόγκωση, ο διακομιστής που παρέχει το γραφικό πρέπει να αναλύει ενεργά τα εισερχόμενα αιτήματα. Τα αυτοματοποιημένα προγράμματα συνήθως δηλώνουν σαφώς την ταυτότητά τους στα τυπικά δεδομένα που μεταδίδουν, με συγκεκριμένα ονόματα.

Ένα καλά συντηρημένο σύστημα καταμέτρησης συγκρίνει αυτή τη συμβολοσειρά αυτοπροσδιορισμού με μια εκτενή, διαρκώς ενημερωμένη λίστα γνωστών υπογραφών αυτοματοποιημένων προγραμμάτων.

Αν βρεθεί ταύτιση, ο διακομιστής παραδίδει κανονικά το γραφικό, ώστε ο ανιχνευτής να ολοκληρώσει το στιγμιότυπό του, αλλά αφαιρεί αθόρυβα το αίτημα από την πραγματική καταμέτρηση. Αυτός ο διαχωρισμός εξασφαλίζει ότι η δημόσια ένδειξη αντανακλά γνήσιο ανθρώπινο ενδιαφέρον και όχι την ακούραστη δραστηριότητα των προγραμμάτων ευρετηρίασης.

Το ποσοστό που πάντα ξεφεύγει

Παρά τις προσπάθειες φιλτραρίσματος, ο διαχωρισμός δεν είναι ποτέ απόλυτα τέλειος. Κάθε μέρα δημιουργούνται νέα αυτοματοποιημένα εργαλεία, και ορισμένα μεταμφιέζονται σκόπιμα ώστε να μοιάζουν με συνηθισμένα προγράμματα περιήγησης υπολογιστή.

Ο εντοπισμός αυτών των μεταμφιεσμένων προγραμμάτων απαιτεί ανάλυση ευρύτερων μοτίβων, όπως μια διεύθυνση στο διαδίκτυο που ζητά χιλιάδες σελίδες μέσα σε λίγα δευτερόλεπτα.

Αν και η ακριβής, αλάνθαστη διάκριση ανάμεσα σε έναν άνθρωπο και ένα πολύ έξυπνο πρόγραμμα είναι τεχνικά αδύνατη, μια αξιόπιστη λίστα φιλτραρίσματος αφαιρεί τη συντριπτική πλειονότητα του θορύβου. Η παραδοχή ότι ένα μικρό ποσοστό του τελικού αριθμού μπορεί πάντα να ανήκει σε μη αναγνωρισμένα αυτοματοποιημένα συστήματα είναι απαραίτητο μέρος της ερμηνείας των στατιστικών του διαδικτύου και εξασφαλίζει μια ρεαλιστική εικόνα της πραγματικής απήχησης.