Liczniki liczyły też roboty

Każdy licznik tutaj liczył roboty. Bez wyjątku. Do tego miesiąca nikt tutaj nie potrafił powiedzieć, ile — ponieważ nic tego nie mierzyło, a robot indeksujący, który żąda obrazka licznika, wygląda dokładnie tak samo jak osoba, która żąda obrazka licznika.

Teraz jest to mierzone. Liczby są gorsze, niż oczekiwano.

Co pokazują pierwsze dni

Liczenie rozpoczęło się 9 sierpnia. We wszystkich licznikach na tej stronie udział odsłon pochodzących od robotów indeksujących, a nie od ludzi:

9 sierpnia — 1 193 z 16 070 odsłon, około 7%
10 sierpnia — 1 624 z 20 181
11 sierpnia — 1 954 z 20 918
12 sierpnia — 2 707 z 22 740, około 12%

Gdzieś więc pomiędzy siedem a dwanaście procent. Cztery dni to nie trend i nie zostanie przedstawione jako trend — zmienność może wynikać z samych robotów, może też z tego, że wykrywanie łapie ich więcej w miarę wzrostu listy sygnatur.

Liczba, która naprawdę zwraca uwagę

Średnia ukrywa najciekawszą część. Patrząc na poszczególne liczniki dzień po dniu, zmierzono 2 412 dni liczników, a w 631 z nich większość zliczonych odsłon stanowiły boty.

Innymi słowy, na mniej więcej jednej czwartej dni liczników większość „odwiedzających” wcale nimi nie była. Tak właśnie od środka wygląda cicha strona: garstka prawdziwych ludzi i nieustanny patrol robotów indeksujących, który nigdy się nie zatrzymuje, nigdy nie śpi i nigdy niczego nie czyta.

Na małej stronie licznik potrafi piąć się w górę, choć nikt raczej nie mógł niczego czytać — oto odpowiedź, widoczna teraz na stronie statystyk jako Boty (30 dni).

Jak są rozpoznawane

Po nazwie, jaką klient sam sobie nadaje. Baiduspider, Googlebot, Amazonbot, AhrefsBot, różne monitory dostępności oraz zwykłe narzędzia, które tego nie ukrywają: curl, wget, python-requests, Scrapy. Żądanie, które w ogóle nie podaje nazwy, również jest traktowane jako bot, ponieważ przeglądarki zawsze ją podają.

Lista jest celowo krótka. Uwzględnia wyłącznie sygnatury, które są jednoznaczne, co oznacza, że dobrze zachowujące się roboty indeksujące zostają złapane, a robot, który kłamie, że jest Chrome'em, już nie. To dobry kierunek: bot policzony jako człowiek to mały błąd, a człowiek odrzucony jako bot to dane, których nigdy nie da się odzyskać.

Decyzja, która jeszcze nie zapadła

Oto szczera część. Boty wciąż są wliczane do sum. Są pokazywane osobno, żeby były widoczne, ale duża liczba na samym liczniku nadal je obejmuje.

Ich wykluczenie to jedno ustawienie, i jest ono celowo wyłączone. Włączenie go obniżyłoby widoczny wynik każdego licznika na tej stronie o mniej więcej jedną dziesiątą, z dnia na dzień, bez pytania kogokolwiek o zdanie. Dla liczników działających od 2007 roku, które stały się dla kogoś małym powodem do dumy na jego stronie, ciche odjęcie kawałka ich sumy nie jest neutralną poprawką techniczną.

Dlatego na razie ta liczba jest po prostu pokazywana. Jeśli powinna być odejmowana, a nie tylko raportowana, warto to usłyszeć — formularz kontaktowy znajduje się na tej stronie, a po drugiej stronie jest prawdziwa osoba.