Роботы тоже читают страницы

Аудитория любого общедоступного веб-сайта никогда не бывает исключительно человеческой. Значительная и совершенно нормальная часть интернет-трафика состоит из автоматизированных программ, обычно называемых роботами или сканерами.

Эти скрипты управляются поисковыми системами, проектами архивирования и академическими учреждениями для систематического индексирования содержимого сети. Они пересекают Интернет, переходя по ссылкам от одного документа к другому, читая текст и каталогизируя структуры.

Поскольку они анализируют исходный код страницы, они неизбежно сталкиваются со встроенными ссылками на внешние элементы, включая теги, используемые для видимых инструментов измерения. То, как обрабатываются эти автоматизированные посетители, глубоко влияет на точность получаемой статистики.

Фильтр, который прежде работал сам

Исторически автоматизированные скрипты разрабатывались так, чтобы быть максимально быстрыми и легкими. Они загружали только необработанный текст страницы и полностью игнорировали любые ссылки на изображения, файлы стилей или сложные скрипты.

В этих старых условиях подсчет на основе изображений естественным образом отфильтровывал подавляющее большинство нечеловеческого трафика. Поскольку робот никогда не утруждал себя запросом графического файла, сервер никогда не регистрировал обращение.

Окончательные цифры отражали только браузеры реальных людей, которым действительно нужны были визуальные компоненты для чтения страницы. Этот присущий механизм фильтрации был одним из главных преимуществ использования простой графики для измерения, практически не требующей обслуживания.

Когда обходчик начал смотреть картинки

Однако поведение автоматизированных систем значительно эволюционировало. Современные поисковые системы должны точно понимать, как выглядит страница, чтобы оценить ее удобство использования, особенно на мобильных устройствах.

Для достижения этой цели их сканеры теперь загружают всю связанную графику и файлы стилей для создания полного визуального снимка страницы.

Следовательно, эти сложные программы запрашивают графику измерения, запуская механизм подсчета точно так же, как это сделал бы посетитель-человек. Если оставить это без контроля, такое поведение искусственно раздует зарегистрированные цифры, в результате чего тихий приходской веб-сайт будет казаться дико популярным только потому, что поисковая система решила переиндексировать свои архивы.

Список, с которым сверяется сервер

Чтобы противостоять этой инфляции, сервер, предоставляющий графику, должен активно анализировать входящие запросы. Автоматизированные программы обычно четко идентифицируют себя в передаваемых стандартных данных, используя определенные имена.

Хорошо поддерживаемая система подсчета сверяет эту строку самоидентификации с обширным, постоянно обновляемым списком известных автоматизированных подписей.

Если найдено совпадение, сервер все равно доставляет графику, чтобы сканер мог завершить свой снимок, но он молча сбрасывает запрос из фактического подсчета. Это разделение гарантирует, что публичный дисплей отражает подлинный человеческий интерес, а не неутомимую деятельность скриптов индексации.

Доля, что всегда проскакивает

Несмотря на эти усилия по фильтрации, разделение никогда не бывает абсолютно идеальным. Новые автоматизированные инструменты создаются каждый день, и некоторые активно маскируются под обычные настольные браузеры.

Идентификация этих замаскированных программ требует анализа более широких шаблонов, таких как интернет-адрес, запрашивающий тысячи страниц в течение нескольких секунд.

Хотя точное, безупречное различие между человеком и очень умным скриптом технически невозможно, надежный список фильтрации удаляет подавляющее большинство шума. Признание того, что небольшой процент окончательного числа всегда может принадлежать нераспознанным автоматизированным системам, является необходимой частью интерпретации интернет-статистики, обеспечивая реалистичное понимание фактического охвата.