Bozuk bir sayacı nasıl tespit ediyoruz

Bir sayaç sessizce bozulabilir. Site yeniden tasarlanır, yerleştirme kodu taşınmayı atlatamaz ve bunu hiçbir şey haber vermez — istatistikler öylece durur, sayaç sahibi de bunu aylar sonra öğrenir, tabii öğrenirse.

Akla hemen bir özellik geliyor: sessizliği fark etmek ve bir not göndermek. Bunu kurmanın bariz yolu, bozulmayı zaten elde olan sayılardan çıkarmak. Bu sürüm yapıldı, ölçüldü ve çöpe atıldı.

Onu bitiren ölçüm

Kural şuydu: düzenli sayım, ardından on dört gün boyunca hiçbir şey. Onu dürüstçe test etmek ileriye bakmayı dışarıda bırakır; bu yüzden kural geriye doğru çalıştırıldı — 30, 45 ve 60 gün önceki üç kesim tarihine karşı — ve ardından, bildireceği sayaçlardan hangilerinin sonrasında aslında çalışmaya devam ettiği kontrol edildi.

eşik	bildirilen	yanlış	doğru
42 günün 10'unda etkin	79	56	29 %
42 günün 20'sinde etkin	39	29	26 %
42 günün 30'unda etkin	10	7	30 %
42 günün 35'inde etkin	5	3	40 %

Hiçbir eşik %40'ı aşamadı. Eşiği sıkılaştırmak işe yaramadı; yalnızca tahmin sayısını azalttı, tahminlerin çoğu ise yanlış kaldı.

Neden böyle – ve bu bir hata değil

Nedeni kitlenin kendisi. Trafiği olan 2.282 sayacın %60'ı kırk iki günün en fazla altısında bir şey kaydediyor. Bunlar küçük siteler. Boşluk onların olağan hâli. “On dört gün hiçbir şey” neredeyse her zaman bir tatil, sakin bir ay, o sırada kimsenin açmadığı bir sayfa demektir — bozuk bir yerleştirme kodu değil.

Üç seferin ikisinde yanılan bir bekçi yalnızca yardım edememekle kalmaz. İnsanlara onu görmezden gelmeyi öğretir; bu da onlara, bekçinin haklı çıktığı tek seferi kaybettirir.

Bu yüzden tahmin etmek yerine bakıyor

Sessizlik hâlâ kullanılıyor, ama yalnızca bir ön filtre olarak. Maliyeti yok, zaten toplanmış veriler üzerinde çalışıyor ve hiçbir şeye karar vermediği için kesin olmaması sorun değil. Karar, sayfa getirilip sayacın hâlâ içinde olup olmadığı kontrol edilerek veriliyor. %30'luk bir tahmin, bir gözleme dönüşüyor.

Bundan üç şey çıkıyor ve her biri özelliği daraltıyor:

• Sayfa adresi yoksa e-posta da yok. Etkin sayaçların yalnızca %41'inde sayfa adresi var; geri kalanında sayfa bilinmiyor olarak kaydediliyor, çünkü yerleştirme kodu onu bildiremiyor. Dört kişiyi doğru uyarmak, on üç kişiyi gürültüyle uyarmaktan iyidir.
• Belirsiz, bozuk demek değildir. Sayfa değerlendirilemiyorsa — bir önbellek katmanı, bir JavaScript kabuğu, bir sunucu hatası — sonuç “belirsiz” olur. Onu görmedik; bu, orada olmadığını söylemekten farklı bir ifadedir.
• Bir şüphe iki geceyi atlatmalıdır. Bir akşam yanıt vermeyen bir site, e-posta göndermek için bir neden değildir.

E-postanın kendisi de yalnızca onu istediğini onaylamış kişilere gider. Eski sayaç tablosunda, önceki hizmetten kalma 4.145 adres var. Bir talebe yanıt vermek için kullanılabilirler; ama kendilerine yazılmasını hiç istemediler ve bu iki şey arasındaki fark, meselenin ta kendisi.