I contatori contavano anche i robot
Ogni contatore ha contato dei robot. Tutti, senza eccezioni. Fino a questo mese, qui nessuno avrebbe potuto dire quanti, perché niente lo misurava — e un crawler che richiede un'immagine del contatore appare esattamente identico a una persona che richiede un'immagine del contatore.
Ora viene misurato. I numeri sono peggiori del previsto.
Cosa mostrano i primi giorni
Il conteggio è iniziato il 9 agosto. Su tutti i contatori di questo sito, la quota di hit provenienti da crawler anziché da persone:
- 9 agosto — 1.193 su 16.070 hit, circa il 7%
- 10 agosto — 1.624 su 20.181
- 11 agosto — 1.954 su 20.918
- 12 agosto — 2.707 su 22.740, circa il 12%
Da qualche parte tra il sette e il dodici per cento, quindi. Quattro giorni non sono una tendenza e non verranno presentati come tale — la variazione potrebbe dipendere dai crawler, oppure dal fatto che il rilevamento ne intercetta di più man mano che l'elenco delle firme cresce.
Il numero che colpisce davvero
La media nasconde la parte interessante. Osservando i singoli contatori giorno per giorno, sono stati misurati 2.412 giorni-contatore, e in 631 di questi la maggioranza degli hit conteggiati erano bot.
In altre parole, in circa un quarto dei giorni-contatore, la maggior parte dei «visitatori» non erano visitatori. Ecco come appare un sito poco frequentato visto da dentro: una manciata di persone reali, e una pattuglia costante di crawler che non si ferma mai, non dorme mai, e non legge mai nulla.
Su un piccolo sito, quando il numero sale piano piano anche se è impossibile che qualcuno stia leggendo — questa è la risposta, ed è ora sulla pagina delle statistiche come Bots (30 days).
Come vengono riconosciuti
Dal nome che il client dichiara di avere. Baiduspider, Googlebot, Amazonbot, AhrefsBot, i vari monitor di uptime, e gli strumenti semplici che non fingono di essere altro: curl, wget, python-requests, Scrapy. Anche una richiesta che non fornisce alcun nome viene trattata come un bot, perché i browser ne forniscono sempre uno.
L'elenco è deliberatamente breve. Corrisponde solo a firme inequivocabili, il che significa che i crawler ben educati vengono individuati, mentre un crawler che mente dichiarandosi Chrome no. Ed è il verso giusto: un bot conteggiato come persona è un piccolo errore, mentre una persona scartata come bot è un dato che non si può più recuperare.
La decisione che non è stata presa
Ecco la parte onesta. I bot sono ancora conteggiati nei totali. Vengono mostrati separatamente perché siano visibili, ma il numero grande sul contatore li include ancora.
Escluderli è un'unica impostazione, ed è deliberatamente disattivata. Attivarla farebbe scendere il conteggio visibile di ogni contatore di questo sito di circa un decimo, da un giorno all'altro, senza che nessuno sia stato interpellato. Per i contatori in funzione dal 2007, diventati un piccolo motivo di orgoglio sulla pagina di qualcuno, sottrarre silenziosamente una parte del loro totale non è una correzione tecnica neutra.
Per ora, quindi, il numero viene semplicemente mostrato. Se dovesse essere sottratto anziché semplicemente segnalato, vale la pena farlo sapere — il modulo di assistenza è su questo sito, e dall'altra parte c'è una persona vera.