И роботите четат страници

Публиката на всеки публично достъпен уебсайт никога не се състои само от хора. Значителна и напълно нормална част от трафика в интернет се състои от автоматизирани програми, обикновено наричани роботи или обхождащи програми.

Тези скриптове се използват от търсачки, архивни проекти и академични институции, за да индексират систематично съдържанието на мрежата. Те обхождат интернет, като следват връзките от един документ към друг, четат текст и каталогизират структури.

Тъй като анализират изходния код на страницата, те неизбежно попадат на вградените препратки към външни елементи, включително на таговете на видимите инструменти за измерване. Начинът, по който се третират тези автоматизирани посетители, силно влияе на точността на получената статистика.

Филтърът, който някога работеше сам

В миналото автоматизираните скриптове се създаваха така, че да бъдат възможно най-бързи и леки. Те изтегляха само суровия текст на страницата и напълно пренебрегваха препратките към изображения, стилови файлове или сложни скриптове.

При тези по-стари условия броенето чрез изображение естествено отсяваше огромната част от нечовешкия трафик. Тъй като роботът изобщо не си правеше труда да поиска графичния файл, сървърът не регистрираше посещение.

Крайните числа отразяваха само браузърите на реални хора, на които визуалните елементи наистина бяха нужни, за да прочетат страницата. Този вграден механизъм за филтриране беше едно от големите предимства на измерването с обикновена графика и не изискваше почти никаква поддръжка.

Когато обхождащият робот започна да гледа картинки

Поведението на автоматизираните системи обаче се промени значително. Съвременните търсачки трябва да разбират точно как изглежда една страница, за да оценят удобството ѝ за ползване, особено на мобилни устройства.

За целта техните обхождащи роботи вече изтеглят всички свързани графики и стилови файлове, за да изобразят пълна визуална снимка на страницата.

Вследствие на това тези усъвършенствани програми действително поискват измервателната графика и задействат механизма за броене точно както би го направил човек. Ако не се контролира, това поведение би надуло изкуствено записаните числа и тих енорийски уебсайт би изглеждал изключително популярен само защото някоя търсачка е решила да индексира отново архивите му.

Списъкът, с който сървърът сравнява

За да противодейства на това надуване, сървърът, който предоставя графиката, трябва активно да анализира входящите заявки. Автоматизираните програми обикновено се представят ясно в стандартните данни, които предават, като използват конкретни имена.

Добре поддържаната система за броене сравнява този низ за самоидентификация с обширен, постоянно обновяван списък с известни сигнатури на автоматизирани програми.

Ако бъде открито съвпадение, сървърът все пак доставя графиката, за да може обхождащият робот да завърши снимката си, но безшумно изключва заявката от същинския брой. Това разделяне гарантира, че публично показаното число отразява истинския интерес на хората, а не неуморната дейност на индексиращите скриптове.

Делът, който винаги се промъква

Въпреки тези усилия за филтриране разделянето никога не е абсолютно съвършено. Всеки ден се създават нови автоматизирани инструменти и някои от тях активно се маскират като обикновени настолни браузъри.

Разпознаването на тези маскирани програми изисква анализ на по-широки модели, например интернет адрес, който поисква хиляди страници за няколко секунди.

Макар точното и безгрешно разграничаване между човек и много хитър скрипт да е технически невъзможно, надежден списък за филтриране премахва огромната част от шума. Признаването, че малък процент от крайното число винаги може да се дължи на неразпознати автоматизирани системи, е необходима част от тълкуването на интернет статистиката и дава реалистична представа за действителния обхват.