Anche i robot leggono le pagine

Il pubblico di qualsiasi sito web accessibile al pubblico non è mai esclusivamente umano. Una parte sostanziale e del tutto normale del traffico internet è costituita da programmi automatizzati, generalmente noti come robot o crawler.

Questi script sono gestiti da motori di ricerca, progetti di archiviazione e istituzioni accademiche per indicizzare sistematicamente i contenuti del web. Attraversano internet seguendo i link da un documento all'altro, leggendo il testo e catalogando le strutture.

Poiché analizzano il codice sorgente di una pagina, incontrano inevitabilmente i riferimenti incorporati ad elementi esterni, inclusi i tag utilizzati per strumenti di misurazione visibili. Il modo in cui vengono gestiti questi visitatori automatizzati influisce profondamente sull'accuratezza delle statistiche risultanti.

Il filtro che una volta funzionava da solo

Storicamente, gli script automatizzati sono stati progettati per essere il più veloci e leggeri possibile. Scaricavano solo il testo non elaborato di una pagina e ignoravano completamente qualsiasi riferimento a immagini, file di stile o script complessi.

In queste condizioni più vecchie, un conteggio basato su immagini filtrava naturalmente la stragrande maggioranza del traffico non umano. Poiché il robot non si preoccupava mai di richiedere il file grafico, il server non registrava mai una visita.

I numeri finali riflettevano solo i browser di persone reali che avevano effettivamente bisogno dei componenti visivi per leggere la pagina. Questo meccanismo di filtraggio intrinseco era uno dei principali vantaggi dell'utilizzo di una semplice grafica per la misurazione, che non richiedeva praticamente alcuna manutenzione.

Quando il crawler ha iniziato a guardare le immagini

Tuttavia, il comportamento dei sistemi automatizzati si è evoluto in modo significativo. I moderni motori di ricerca devono comprendere esattamente l'aspetto di una pagina per valutarne l'usabilità, in particolare sui dispositivi mobili.

Per ottenere ciò, i loro crawler ora scaricano tutta la grafica e i file di stile associati per eseguire il rendering di un'istantanea visiva completa della pagina.

Di conseguenza, questi sofisticati programmi richiedono la grafica di misurazione, innescando il meccanismo di conteggio esattamente come farebbe un visitatore umano. Se non controllato, questo comportamento gonfierebbe artificialmente i numeri registrati, facendo apparire un tranquillo sito web parrocchiale popolarissimo solo perché un motore di ricerca ha deciso di reindicizzare i suoi archivi.

L'elenco con cui il server confronta

Per contrastare questa inflazione, il server che fornisce la grafica deve analizzare attivamente le richieste in arrivo. I programmi automatizzati in genere si identificano chiaramente nei dati standard che trasmettono, utilizzando nomi specifici.

Un sistema di conteggio ben gestito controlla questa stringa di autoidentificazione rispetto a un elenco ampio e costantemente aggiornato di firme automatizzate note.

Se viene trovata una corrispondenza, il server consegna comunque la grafica in modo che il crawler possa completare la sua istantanea, ma scarta silenziosamente la richiesta dal conteggio effettivo. Questa separazione garantisce che l'esposizione pubblica rifletta l'interesse umano genuino piuttosto che l'instancabile attività degli script di indicizzazione.

La quota che passa sempre

Nonostante questi sforzi di filtraggio, la separazione non è mai assolutamente perfetta. Nuovi strumenti automatizzati vengono creati ogni giorno e alcuni si travestono attivamente per assomigliare ai normali browser desktop.

L'identificazione di questi programmi camuffati richiede l'analisi di modelli più ampi, come un indirizzo internet che richiede migliaia di pagine in pochi secondi.

Sebbene una distinzione esatta e impeccabile tra un essere umano e uno script molto intelligente sia tecnicamente impossibile, un solido elenco di filtraggio rimuove la stragrande maggioranza del rumore. Riconoscere che una piccola percentuale del numero finale potrebbe appartenere sempre a sistemi automatizzati non riconosciuti è una parte necessaria dell'interpretazione delle statistiche internet, garantendo una comprensione realistica della portata effettiva.