ロボットもページを読む

公開されているウェブサイトの対象ユーザーが人間だけであることは決してありません。インターネットトラフィックのかなり一般的で完全に正常な部分は、一般にロボットまたはクローラーとして知られる自動プログラムで構成されています。

これらのスクリプトは、検索エンジン、アーカイブプロジェクト、学術機関によって操作され、ウェブのコンテンツを体系的にインデックス付けします。これらは、ドキュメントから別のドキュメントへのリンクをたどり、テキストを読み取り、構造をカタログ化することによってインターネットを横断します。

ページのソースコードを分析するため、表示される測定ツールに使用されるタグを含む、外部要素への埋め込まれた参照に必然的に遭遇します。これらの自動化された訪問者がどのように処理されるかは、結果の統計の精度に大きく影響します。

かつては勝手に効いていたふるい

歴史的に、自動化スクリプトは可能な限り高速で軽量になるように設計されていました。ページの生のテキストのみをダウンロードし、画像、スタイルファイル、複雑なスクリプトへの参照を完全に無視しました。

これらの古い条件下では、画像ベースの集計は人間以外のトラフィックの大部分を自然に除外していました。ロボットはわざわざグラフィックファイルを要求しなかったため、サーバーがヒットを登録することは決してありませんでした。

最終的な数字は、ページを読むために視覚的コンポーネントを実際に必要とした実在の人物のブラウザのみを反映していました。この固有のフィルタリングメカニズムは、測定にシンプルなグラフィックを使用する大きな利点の1つであり、メンテナンスはほとんど必要ありませんでした。

クローラーが画像を見はじめたとき

しかし、自動化されたシステムの動作は大きく進化しました。最新の検索エンジンは、特にモバイルデバイスでの使いやすさを評価するために、ページがどのように見えるかを正確に理解する必要があります。

これを実現するために、クローラーは現在、関連するすべてのグラフィックとスタイルファイルをダウンロードして、ページの完全な視覚的スナップショットをレンダリングします。

その結果、これらの高度なプログラムは測定グラフィックを要求し、人間の訪問者とまったく同じようにカウントメカニズムをトリガーします。チェックせずに放置すると、この動作により記録された数が人為的に水増しされ、検索エンジンがアーカイブのインデックスを再作成することを決定したという理由だけで、静かな教区のウェブサイトが非常に人気があるように見えることになります。

サーバーが照合する一覧

このインフレに対抗するために、グラフィックを提供するサーバーは、着信要求を積極的に分析する必要があります。通常、自動プログラムは、特定の名前を使用して、送信する標準データで自分自身を明確に識別します。

適切に保守されたカウントシステムは、この自己識別文字列を、既知の自動署名の広範で絶えず更新されるリストと照合します。

一致が見つかった場合、サーバーはクローラーがスナップショットを完了できるようにグラフィックを引き続き配信しますが、実際の集計からは要求を黙って破棄します。この分離により、公開表示は、インデックス作成スクリプトの絶え間ない活動ではなく、真の人間の関心を反映することが保証されます。

いつも抜けてしまう分

これらのフィルタリングの努力にもかかわらず、分離が絶対に完璧になることはありません。新しい自動ツールは毎日作成されており、通常のデスクトップブラウザのように積極的に偽装するものもあります。

これらの偽装されたプログラムを識別するには、数秒以内に何千ものページを要求するインターネットアドレスなど、より広範なパターンを分析する必要があります。

人間と非常に巧妙なスクリプトを正確かつ完璧に区別することは技術的に不可能ですが、堅牢なフィルタリングリストによりノイズの大部分が除去されます。最終的な数字の数パーセントが常に認識されない自動化システムに属する可能性があることを認識することは、インターネット統計を解釈する上で必要な部分であり、実際のリーチを現実的に理解することができます。