גם רובוטים קוראים דפים

הקהל של כל אתר שפתוח לציבור לעולם אינו אנושי בלבד. חלק ניכר ורגיל לחלוטין מתעבורת האינטרנט מורכב מתוכנות אוטומטיות, שמכונות בדרך כלל רובוטים או סורקים.

הסקריפטים האלה מופעלים בידי מנועי חיפוש, פרויקטי ארכוב ומוסדות אקדמיים כדי לאנדקס בשיטתיות את תוכן הרשת. הם עוברים באינטרנט באמצעות מעקב אחר קישורים ממסמך למסמך, קריאת טקסט וקטלוג מבנים.

מכיוון שהם מנתחים את קוד המקור של דף, הם נתקלים בהכרח בהפניות המוטמעות לרכיבים חיצוניים, כולל התגיות שמשמשות כלי מדידה גלויים. אופן הטיפול במבקרים האוטומטיים האלה משפיע מאוד על דיוק הסטטיסטיקה שנוצרת.

המסנן שפעם עבד מעצמו

מבחינה היסטורית, סקריפטים אוטומטיים תוכננו להיות מהירים וקלי משקל ככל האפשר. הם הורידו רק את הטקסט הגולמי של הדף והתעלמו לחלוטין מכל הפניה לתמונות, קובצי סגנונות או סקריפטים מורכבים.

בתנאים הישנים האלה, ספירה שמבוססת על תמונה סיננה באופן טבעי את הרוב המכריע של התעבורה הלא אנושית. מכיוון שהרובוט מעולם לא טרח לבקש את הקובץ הגרפי, השרת מעולם לא רשם צפייה.

המספרים הסופיים שיקפו רק את הדפדפנים של אנשים אמיתיים שהיו זקוקים בפועל לרכיבים החזותיים כדי לקרוא את הדף. מנגנון הסינון המובנה הזה היה אחד היתרונות המרכזיים של שימוש בגרפיקה פשוטה למדידה, ודרש כמעט אפס תחזוקה.

כשהסורק התחיל להסתכל בתמונות

אבל התנהגות המערכות האוטומטיות התפתחה מאוד. מנועי חיפוש מודרניים צריכים להבין בדיוק איך דף נראה כדי להעריך את שימושיותו, במיוחד במכשירים ניידים.

לשם כך, הסורקים שלהם מורידים כעת את כל הגרפיקה וקובצי הסגנונות הקשורים כדי לצייר תמונת מצב חזותית מלאה של הדף.

לכן התוכנות המתוחכמות האלה אכן מבקשות את גרפיקת המדידה ומפעילות את מנגנון הספירה בדיוק כמו מבקר אנושי. בלי בקרה, ההתנהגות הזאת תנפח מלאכותית את המספרים שנרשמים ותגרום לאתר שקט של קהילה כנסייתית להיראות פופולרי מאוד רק מפני שמנוע חיפוש החליט לאנדקס מחדש את הארכיון שלו.

הרשימה שהשרת בודק מולה

כדי להתמודד עם הניפוח הזה, השרת שמספק את הגרפיקה חייב לנתח באופן פעיל את הבקשות הנכנסות. תוכנות אוטומטיות מזדהות בדרך כלל בבירור במידע הרגיל שהן שולחות, באמצעות שמות מסוימים.

מערכת ספירה מתוחזקת היטב בודקת את מחרוזת הזיהוי העצמי הזאת מול רשימה נרחבת של חתימות אוטומטיות מוכרות, שמתעדכנת ללא הרף.

אם נמצאת התאמה, השרת עדיין מוסר את הגרפיקה כדי שהסורק יוכל להשלים את תמונת המצב שלו, אבל משמיט את הבקשה בשקט מהספירה בפועל. ההפרדה הזאת מבטיחה שהתצוגה הציבורית תשקף עניין אנושי אמיתי ולא את הפעילות הבלתי נלאית של סקריפטי אינדוקס.

החלק שתמיד חומק

למרות מאמצי הסינון האלה, ההפרדה לעולם אינה מושלמת לחלוטין. כלים אוטומטיים חדשים נוצרים בכל יום, וחלקם מתחזים באופן פעיל לדפדפני מחשב רגילים.

זיהוי התוכנות המוסוות האלה דורש ניתוח דפוסים רחבים יותר, כגון כתובת אינטרנט שמבקשת אלפי דפים בתוך שניות בודדות.

אף שהבחנה מדויקת וללא פגם בין אדם לסקריפט חכם מאוד בלתי אפשרית מבחינה טכנית, רשימת סינון חזקה מסירה את הרוב המכריע של הרעש. ההכרה בכך שאחוז קטן מהמספר הסופי עשוי תמיד להשתייך למערכות אוטומטיות לא מזוהות היא חלק הכרחי מפירוש סטטיסטיקת אינטרנט ומבטיחה הבנה מציאותית של התפוצה בפועל.