Os contadores também contavam robôs

Todos os contadores têm estado a contar robôs, sem exceção. Até este mês, ninguém aqui conseguia dizer quantos, porque nada estava a medir isso — e um crawler que pede uma imagem de contador tem exatamente o mesmo aspeto que uma pessoa que pede uma imagem de contador.

Agora é medido. Os números são piores do que o esperado.

O que os primeiros dias mostram

A contagem começou a 9 de agosto. Em todos os contadores deste site, a proporção de acessos vindos de crawlers em vez de pessoas:

• 9 de agosto — 1.193 de 16.070 acessos, cerca de 7%
• 10 de agosto — 1.624 de 20.181
• 11 de agosto — 1.954 de 20.918
• 12 de agosto — 2.707 de 22.740, cerca de 12%

Algures entre sete e doze por cento, portanto. Quatro dias não são uma tendência e não serão apresentados como tal — a variação tanto pode ser dos crawlers como pode ser a deteção a apanhar mais casos à medida que a lista de assinaturas cresce.

O número que é realmente surpreendente

A média esconde a parte interessante. Olhando para contadores individuais dia a dia, foram medidos 2.412 dias-contador, e em 631 deles a maioria dos acessos contados eram bots.

Em cerca de um quarto dos dias-contador, por outras palavras, a maioria dos «visitantes» não eram visitantes. É isto que um site tranquilo parece por dentro: um punhado de pessoas reais, e uma patrulha constante de crawlers que nunca para, nunca dorme e nunca lê nada.

Num site pequeno, quando a contagem sobe silenciosamente sem que haja ninguém a ler — esta é a resposta, e está agora na página de estatísticas como Bots (30 days).

Como são reconhecidos

Pelo nome que o cliente declara ter. Baiduspider, Googlebot, Amazonbot, AhrefsBot, os vários monitores de uptime, e as ferramentas simples que não fingem ser outra coisa: curl, wget, python-requests, Scrapy. Um pedido que não dá nome nenhum também é tratado como bot, porque os navegadores dão sempre um.

A lista é deliberadamente curta. Só corresponde a assinaturas inequívocas, o que significa que os crawlers bem comportados são apanhados e um crawler que minta sobre ser o Chrome não é. É esta a ordem certa das coisas: um bot contado como pessoa é um erro pequeno, e uma pessoa descartada como bot é dados que nunca mais recupera.

A decisão que ainda não foi tomada

Eis a parte honesta. Os bots continuam a ser contados nos totais. São mostrados em separado para ficarem à vista, mas o número grande no contador continua a incluí-los.

Excluí-los é uma única definição, e está deliberadamente desligada. Ativá-la faria cair a contagem visível de todos os contadores deste site em cerca de um décimo, de um dia para o outro, sem que ninguém tivesse sido consultado. Para contadores que estão em funcionamento desde 2007 e que se tornaram um pequeno motivo de orgulho na página de alguém, deduzir silenciosamente uma parte do seu total não é uma correção técnica neutra.

Por isso o número está a ser mostrado primeiro. Se deveria ser deduzido em vez de meramente reportado, vale a pena ouvir essa opinião — o formulário de suporte está neste site, e há uma pessoa real do outro lado.