Cara kami mendeteksi penghitung yang rusak

Penghitung bisa rusak diam-diam. Situs didesain ulang, sematannya tidak selamat saat perpindahan, dan tidak ada yang mengumumkannya — statistiknya berhenti begitu saja, dan pemiliknya baru tahu berbulan-bulan kemudian, kalau tahu sama sekali.

Ada fitur yang langsung terpikir: menyadari keheningan itu dan mengirim pemberitahuan. Cara yang paling jelas untuk membangunnya adalah menyimpulkan kerusakan dari angka-angka yang sudah ada. Versi itu sudah dibangun, diukur, lalu dibuang.

Pengukuran yang menggugurkannya

Aturannya: menghitung secara teratur, lalu tidak ada apa pun selama empat belas hari. Menguji aturan ini secara jujur berarti tidak boleh melihat ke depan, jadi pengujiannya dijalankan mundur — terhadap tiga tanggal batas 30, 45, dan 60 hari di masa lalu — lalu diperiksa penghitung mana saja yang akan dilaporkannya ternyata masih berjalan sesudahnya.

ambang	dilaporkan	salah	benar
aktif pada 10 dari 42 hari	79	56	29 %
aktif pada 20 dari 42 hari	39	29	26 %
aktif pada 30 dari 42 hari	10	7	30 %
aktif pada 35 dari 42 hari	5	3	40 %

Tidak ada ambang yang melampaui 40 %. Memperketatnya tidak membantu; itu hanya mengurangi jumlah tebakan, sementara sebagian besar tebakan tetap salah.

Mengapa, dan ini bukan bug

Penyebabnya adalah para penggunanya. Dari 2.282 penghitung yang memiliki lalu lintas, 60 % mencatat sesuatu paling banyak pada enam dari empat puluh dua hari. Ini adalah situs-situs kecil. Jeda adalah keadaan normal bagi mereka. “Empat belas hari tanpa apa pun” hampir selalu berarti liburan, bulan yang sepi, atau halaman yang kebetulan tidak dibuka siapa pun — bukan sematan yang rusak.

Pemantau yang salah dua dari tiga kali tidak sekadar gagal membantu. Ia mengajari orang untuk mengabaikannya, dan itu merugikan mereka tepat pada satu-satunya saat ia benar.

Jadi ia melihat, bukan menebak

Keheningan itu tetap dipakai, tetapi hanya sebagai penyaring awal. Penyaring ini tidak memakan biaya, berjalan di atas data yang sudah terkumpul, dan boleh tidak presisi karena tidak memutuskan apa pun. Keputusannya diambil dengan mengambil halaman itu dan memeriksa apakah penghitung masih ada di dalamnya. Tebakan 30 % berubah menjadi pengamatan.

Dari situ muncul tiga hal, dan masing-masing mempersempit fitur ini:

• Tanpa alamat halaman, tidak ada surat. Hanya 41 % penghitung aktif yang memilikinya; untuk sisanya, halaman dicatat sebagai tidak diketahui, karena sematan tidak dapat melaporkannya. Memperingatkan empat orang dengan benar lebih baik daripada memperingatkan tiga belas orang dengan peringatan yang tidak bermakna.
• Tidak jelas bukan berarti rusak. Jika halaman tidak dapat dinilai — lapisan cache, kerangka JavaScript, kesalahan server — hasilnya adalah “tidak jelas”. Kami tidak melihatnya, dan itu berbeda dengan menyatakan bahwa penghitung itu tidak ada.
• Kecurigaan harus bertahan selama dua malam. Situs yang tidak menjawab selama satu malam bukan alasan untuk mengirim email.

Dan emailnya sendiri hanya dikirim kepada orang yang telah mengonfirmasi bahwa mereka menginginkannya. Ada 4.145 alamat di tabel penghitung lama, sisa dari layanan sebelumnya. Alamat-alamat itu boleh menjawab sebuah permintaan; pemiliknya tidak pernah meminta untuk dikirimi surat, dan perbedaan antara kedua hal itulah intinya.