Os robôs também leem páginas

O público de qualquer site acessível publicamente nunca é exclusivamente humano. Uma parte substancial e inteiramente normal do tráfego da internet consiste em programas automatizados, geralmente conhecidos como robôs ou rastreadores.

Estes scripts são operados por motores de busca, projetos de arquivamento e instituições académicas para indexar sistematicamente os conteúdos da web. Atravessam a internet seguindo links de um documento para outro, lendo textos e catalogando estruturas.

Uma vez que analisam o código-fonte de uma página, inevitavelmente encontram referências incorporadas a elementos externos, incluindo as tags usadas para ferramentas de medição visíveis. A forma como esses visitantes automatizados são tratados afeta profundamente a precisão das estatísticas resultantes.

O filtro que outrora funcionava sozinho

Historicamente, os scripts automatizados foram concebidos para serem o mais rápidos e leves possível. Descarregavam apenas o texto bruto de uma página e ignoravam completamente quaisquer referências a imagens, ficheiros de estilo ou scripts complexos.

Sob estas condições mais antigas, uma contagem baseada em imagens filtrava naturalmente a grande maioria do tráfego não humano. Como o robô nunca se preocupou em solicitar o ficheiro gráfico, o servidor nunca registou uma ocorrência.

Os números finais refletiam apenas os navegadores de pessoas reais que realmente precisavam dos componentes visuais para ler a página. Esse mecanismo de filtragem inerente foi uma das principais vantagens de usar um gráfico simples para medição, praticamente sem necessidade de manutenção.

Quando o rastreador começou a ver imagens

No entanto, o comportamento dos sistemas automatizados evoluiu significativamente. Os motores de busca modernos precisam de entender exatamente como é a aparência de uma página para avaliar a sua usabilidade, especialmente em dispositivos móveis.

Para conseguir isso, os rastreadores agora descarregam todos os gráficos e ficheiros de estilo associados para renderizar um instantâneo visual completo da página.

Consequentemente, esses programas sofisticados solicitam o gráfico de medição, acionando o mecanismo de contagem exatamente como um visitante humano faria. Se não for controlado, esse comportamento inflacionaria artificialmente os números registados, fazendo um site paroquial silencioso parecer descontroladamente popular apenas porque um motor de busca decidiu reindexar os arquivos.

A lista com que o servidor compara

Para combater esta inflação, o servidor que fornece o gráfico deve analisar ativamente as solicitações recebidas. Os programas automatizados normalmente identificam-se claramente nos dados padrão que transmitem, usando nomes específicos.

Um sistema de contagem bem mantido verifica esta string de autoidentificação contra uma lista extensa e constantemente atualizada de assinaturas automatizadas conhecidas.

Se for encontrada uma correspondência, o servidor ainda entrega o gráfico para que o rastreador possa concluir o instantâneo, mas descarta silenciosamente a solicitação da contagem real. Esta separação garante que a exibição pública reflita o interesse humano genuíno, em vez da atividade incansável de scripts de indexação.

A parte que passa sempre

Apesar destes esforços de filtragem, a separação nunca é absolutamente perfeita. Novas ferramentas automatizadas são criadas diariamente, e algumas ativamente se disfarçam para parecerem navegadores de desktop regulares.

A identificação destes programas disfarçados requer a análise de padrões mais amplos, como um endereço de internet que solicita milhares de páginas em poucos segundos.

Embora uma distinção exata e perfeita entre um humano e um script muito inteligente seja tecnicamente impossível, uma lista de filtragem robusta remove a grande maioria do ruído. Reconhecer que uma pequena percentagem do número final pode sempre pertencer a sistemas automatizados não reconhecidos é uma parte necessária da interpretação de estatísticas da internet, garantindo uma compreensão realista do alcance real.