Роботи теж читають сторінки

Аудиторія будь-якого загальнодоступного веб-сайту ніколи не буває виключно людською. Значна і абсолютно нормальна частина інтернет-трафіку складається з автоматизованих програм, зазвичай відомих як роботи або сканери.

Ці скрипти керуються пошуковими системами, проектами архівування та академічними установами для систематичного індексування вмісту мережі. Вони перетинають Інтернет, переходячи за посиланнями від одного документа до іншого, читаючи текст і каталогізуючи структури.

Оскільки вони аналізують вихідний код сторінки, вони неминуче стикаються із вбудованими посиланнями на зовнішні елементи, включаючи теги, що використовуються для видимих інструментів вимірювання. Те, як обробляються ці автоматизовані відвідувачі, глибоко впливає на точність одержуваної статистики.

Фільтр, що колись працював сам

Історично автоматизовані скрипти розроблялися так, щоб бути максимально швидкими і легкими. Вони завантажували тільки необроблений текст сторінки і повністю ігнорували будь-які посилання на зображення, файли стилів або складні скрипти.

У цих старих умовах підрахунок на основі зображень природним чином відфільтровував переважну більшість нелюдського трафіку. Оскільки робот ніколи не обтяжував себе запитом графічного файлу, сервер ніколи не реєстрував звернення.

Остаточні цифри відображали тільки браузери реальних людей, яким дійсно потрібні були візуальні компоненти для читання сторінки. Цей властивий механізм фільтрації був однією з головних переваг використання простої графіки для вимірювання, яка практично не вимагає обслуговування.

Коли обхідник почав дивитися картинки

Однак поведінка автоматизованих систем значно еволюціонувала. Сучасні пошукові системи повинні точно розуміти, як виглядає сторінка, щоб оцінити її зручність використання, особливо на мобільних пристроях.

Для досягнення цієї мети їх сканери тепер завантажують всю пов'язану графіку і файли стилів для створення повного візуального знімка сторінки.

Отже, ці складні програми запитують графіку вимірювання, запускаючи механізм підрахунку точно так само, як це зробив би відвідувач-людина. Якщо залишити це без контролю, така поведінка штучно роздує зареєстровані цифри, в результаті чого тихий парафіяльний веб-сайт буде здаватися дико популярним тільки тому, що пошукова система вирішила переіндексувати свої архіви.

Список, з яким звіряється сервер

Щоб протистояти цій інфляції, сервер, що надає графіку, повинен активно аналізувати вхідні запити. Автоматизовані програми зазвичай чітко ідентифікують себе в переданих стандартних даних, використовуючи певні імена.

Добре підтримувана система підрахунку звіряє цей рядок самоідентифікації з великим, постійно оновлюваним списком відомих автоматизованих підписів.

Якщо знайдено збіг, сервер все одно доставляє графіку, щоб сканер міг завершити свій знімок, але він мовчки скидає запит з фактичного підрахунку. Цей поділ гарантує, що публічний дисплей відображає справжній людський інтерес, а не невтомну діяльність скриптів індексації.

Частка, що завжди прослизає

Незважаючи на ці зусилля з фільтрації, поділ ніколи не буває абсолютно ідеальним. Нові автоматизовані інструменти створюються кожен день, і деякі активно маскуються під звичайні настільні браузери.

Ідентифікація цих замаскованих програм вимагає аналізу ширших шаблонів, таких як інтернет-адреса, що запитує тисячі сторінок протягом декількох секунд.

Хоча точна, бездоганна відмінність між людиною і дуже розумним скриптом технічно неможлива, надійний список фільтрації видаляє переважну більшість шуму. Визнання того, що невеликий відсоток остаточного числа завжди може належати нерозпізнаним автоматизованим системам, є необхідною частиною інтерпретації інтернет-статистики, забезпечуючи реалістичне розуміння фактичного охоплення.