Robot juga membaca halaman

Khalayak situs web mana pun yang dapat diakses publik tidak pernah hanya terdiri atas manusia. Sebagian yang cukup besar dan sepenuhnya wajar dari lalu lintas internet terdiri atas program otomatis, yang umumnya dikenal sebagai robot atau crawler.

Skrip-skrip ini dijalankan oleh mesin pencari, proyek pengarsipan, dan lembaga akademik untuk mengindeks isi web secara sistematis. Skrip tersebut menjelajahi internet dengan mengikuti tautan dari satu dokumen ke dokumen lain, membaca teks, dan mengatalogkan struktur.

Karena menganalisis kode sumber halaman, skrip tersebut pasti menemukan rujukan tersemat ke elemen eksternal, termasuk tag yang digunakan untuk alat pengukuran yang terlihat. Cara menangani pengunjung otomatis ini sangat memengaruhi ketepatan statistik yang dihasilkan.

Penyaring yang dulu bekerja dengan sendirinya

Dahulu, skrip otomatis dirancang agar secepat dan seringan mungkin. Skrip itu hanya mengunduh teks mentah halaman dan sama sekali mengabaikan rujukan ke gambar, berkas gaya, atau skrip yang rumit.

Dalam kondisi lama tersebut, hitungan berbasis gambar dengan sendirinya menyaring sebagian besar lalu lintas nonmanusia. Karena robot tidak pernah repot-repot meminta berkas grafis, server tidak pernah mencatat tayangan.

Angka akhirnya hanya mencerminkan peramban milik orang sungguhan yang memang membutuhkan komponen visual untuk membaca halaman. Mekanisme penyaringan bawaan ini merupakan salah satu keunggulan utama penggunaan grafis sederhana untuk pengukuran, karena hampir tidak memerlukan pemeliharaan.

Ketika crawler mulai melihat gambar

Namun, perilaku sistem otomatis telah berkembang pesat. Mesin pencari modern perlu memahami dengan tepat bagaimana tampilan sebuah halaman untuk menilai kegunaannya, terutama di perangkat seluler.

Untuk itu, crawler mereka kini mengunduh semua grafis dan berkas gaya yang terkait untuk merender cuplikan visual halaman secara lengkap.

Akibatnya, program canggih ini memang meminta grafis pengukuran dan memicu mekanisme penghitungan persis seperti pengunjung manusia. Jika dibiarkan, perilaku ini akan menggelembungkan angka yang tercatat secara semu, sehingga situs web paroki yang sepi tampak sangat populer hanya karena sebuah mesin pencari memutuskan untuk mengindeks ulang arsipnya.

Daftar yang menjadi acuan server

Untuk mengatasi penggelembungan ini, server yang menyediakan grafis harus secara aktif menganalisis permintaan yang masuk. Program otomatis biasanya memperkenalkan diri dengan jelas dalam data standar yang dikirimkannya, dengan menggunakan nama tertentu.

Sistem penghitung yang terpelihara dengan baik mencocokkan string identifikasi diri ini dengan daftar tanda pengenal program otomatis yang luas dan terus diperbarui.

Jika ditemukan kecocokan, server tetap mengirimkan grafis agar crawler dapat menyelesaikan cuplikannya, tetapi diam-diam mengeluarkan permintaan itu dari hitungan yang sebenarnya. Pemisahan ini memastikan bahwa tampilan publik mencerminkan minat manusia yang sungguhan, bukan aktivitas skrip pengindeks yang tak kenal lelah.

Bagian yang selalu lolos

Meskipun ada upaya penyaringan ini, pemisahannya tidak pernah benar-benar sempurna. Alat otomatis baru dibuat setiap hari, dan sebagian secara aktif menyamar agar tampak seperti peramban desktop biasa.

Mengenali program yang menyamar ini memerlukan analisis pola yang lebih luas, misalnya satu alamat internet yang meminta ribuan halaman dalam beberapa detik.

Meskipun pembedaan yang tepat dan tanpa cela antara manusia dan skrip yang sangat cerdik secara teknis tidak mungkin dilakukan, daftar penyaring yang andal menghilangkan sebagian besar gangguan. Menerima bahwa sebagian kecil dari angka akhir mungkin selalu berasal dari sistem otomatis yang tidak dikenali adalah bagian yang perlu dalam menafsirkan statistik internet, agar diperoleh pemahaman yang realistis tentang jangkauan yang sebenarnya.