Лічильник рахував і роботів
Лічильник рахував роботів. Як і лічильники всіх інших. До цього місяця тут ніхто не міг сказати, скільки саме, бо це ніхто не вимірював — а краулер, який запитує зображення лічильника, виглядає точнісінько як людина, яка запитує зображення лічильника.
Тепер це вимірюється. Цифри гірші, ніж очікувалося.
Що показують перші дні
Підрахунок почався 9 серпня. За всіма лічильниками на цьому сайті частка звернень від краулерів, а не людей:
- 9 серпня — 1 193 з 16 070 звернень, приблизно 7%
- 10 серпня — 1 624 з 20 181
- 11 серпня — 1 954 з 20 918
- 12 серпня — 2 707 з 22 740, приблизно 12%
Отже, десь між сімома і дванадцятьма відсотками. Чотири дні — це не тенденція, і як тенденція це подаватися не буде: коливання може пояснюватися самими краулерами, а може — тим, що виявлення ловить більше в міру зростання списку сигнатур.
Число, яке справді вражає
Середнє приховує найцікавіше. Якщо подивитися на окремі лічильники по днях, вийшло 2 412 виміряних лічильник-днів, і у 631 із них більшість зарахованих звернень становили боти.
Іншими словами, приблизно на чверті лічильник-днів більшість «відвідувачів» не були відвідувачами. Ось як виглядає тихий сайт зсередини: жменька реальних людей і безперервний патруль краулерів, які ніколи не зупиняються, ніколи не сплять і нічого не читають.
Якщо сайт невеликий, а лічильник усе одно повзе вгору, хоча читати нібито нікому, — ось відповідь, і тепер вона є на сторінці статистики як Bots (30 days).
Як їх розпізнають
За іменем, яке клієнт сам про себе повідомляє. Baiduspider, Googlebot, Amazonbot, AhrefsBot, різні монітори доступності та прості інструменти, які й не прикидаються кимось іншим: curl, wget, python-requests, Scrapy. Запит, який узагалі не повідомляє імені, також вважається ботом, бо браузери завжди його повідомляють.
Список навмисно короткий. Він зіставляє лише однозначні сигнатури, а це означає, що добре поводжені краулери потрапляють у нього, а краулер, який бреше, що він Chrome, — ні. Це правильний порядок речей: бот, зарахований як людина, — невелика помилка, а людина, відкинута як бот, — це дані, які вже ніколи не повернути.
Рішення, яке ще не ухвалене
А ось чесна частина. Боти й досі входять у загальні цифри. Їх показують окремо, щоб вони були помітні, але велике число на лічильнику все одно їх включає.
Виключити їх — це одне налаштування, і воно навмисно вимкнене. Якби його увімкнули, видиме число кожного лічильника на цьому сайті за одну ніч впало б приблизно на десяту частину, і нікого про це не запитали б. Для лічильників, які працюють із 2007 року і стали для когось маленьким приводом для гордості на сторінці, тихо відняти шматок їхньої загальної суми — це не нейтральне технічне виправлення.
Тож спершу число просто показують. Якщо його варто віднімати, а не лише повідомляти, — про це варто почути: форма підтримки є на цьому сайті, і на іншому її кінці — жива людина.