Счётчик считал и роботов

Счётчик считал роботов. Как и все остальные. До этого месяца никто здесь не мог сказать, сколько именно, потому что это никак не измерялось — а краулер, запрашивающий картинку счётчика, выглядит точно так же, как человек, запрашивающий картинку счётчика.

Теперь это измеряется. Цифры оказались хуже, чем ожидалось.

Что показывают первые дни

Подсчёт начался 9 августа. По всем счётчикам на этом сайте доля обращений от краулеров, а не от людей, составила:

9 августа — 1193 из 16 070 обращений, около 7%
10 августа — 1624 из 20 181
11 августа — 1954 из 20 918
12 августа — 2707 из 22 740, около 12%

Получается, где-то между семью и двенадцатью процентами. Четыре дня — это не тренд, и как тренд это подаваться не будет: разброс может быть связан с самими краулерами, а может — с тем, что обнаружение ловит всё больше по мере роста списка сигнатур.

Число, которое действительно впечатляет

Среднее скрывает самое интересное. Если смотреть на отдельные счётчики по дням, получается, что было измерено 2412 счётчико-дней, и в 631 из них большинство засчитанных обращений составляли боты.

Иными словами, примерно на четверти счётчико-дней большинство «посетителей» не были посетителями. Вот как выглядит тихий сайт изнутри: горстка настоящих людей и непрерывный патруль краулеров, которые никогда не останавливаются, никогда не спят и никогда ничего не читают.

Если сайт небольшой, а счётчик всё равно ползёт вверх, хотя читать его вроде бы некому, — вот ответ, и теперь он есть на странице статистики как Bots (30 days).

Как их распознают

По имени, которое клиент сообщает о себе. Baiduspider, Googlebot, Amazonbot, AhrefsBot, различные мониторы доступности, а также обычные инструменты, которые и не притворяются кем-то другим: curl, wget, python-requests, Scrapy. Запрос, который вообще не сообщает никакого имени, тоже считается ботом, потому что браузеры всегда его сообщают.

Список намеренно короткий. Он совпадает только с однозначными подписями, а значит, воспитанные сборщики попадаются, а сборщик, выдающий себя за Chrome, — нет. Направление верное: бот, посчитанный за человека, — небольшая ошибка, а человек, отброшенный как бот, — данные, которых уже не вернуть.

Решение, которое ещё не принято

А вот честная часть. Боты по-прежнему учитываются в итоговых цифрах. Их показывают отдельно, чтобы они были видны, но большое число на счётчике всё равно их включает.

Их исключение — это одна-единственная настройка, и она намеренно выключена. Её включение разом снизило бы видимый счёт каждого счётчика на этом сайте примерно на десятую часть — за одну ночь, никого не спросив. Для счётчиков, которые работают с 2007 года и стали для кого-то маленьким предметом гордости на странице, тихо вычесть часть их итога — это не нейтральная техническая правка.

Поэтому пока это число просто показывается. Если его следует вычитать, а не только показывать, — об этом стоит рассказать: на этом сайте есть форма поддержки, и на другом её конце находится живой человек.