Сторож, который отказывается гадать

Счётчик может сломаться беззвучно. Сайт перестраивают, вставка не переживает переезда, и об этом ничто не сообщает: статистика просто прекращается, а владелец узнаёт месяцы спустя, если узнаёт вообще.

Сама собой напрашивается очевидная возможность: заметить тишину и послать записку. Очевидный способ её построить — вывести поломку из чисел, которые и так есть. Эта версия была построена, измерена и выброшена.

Измерение, которое её убило

Правило звучало так: считал регулярно, потом четырнадцать дней ничего. Чтобы проверить его честно, вперёд смотреть нельзя, поэтому его прогнали назад — против трёх отсечек 30, 45 и 60 дней назад — и затем посмотрели, какие из счётчиков, о которых оно сообщило бы, на самом деле продолжали работать.

порог	сообщено	ошибочно	верно
активен 10 из 42 дней	79	56	29 %
активен 20 из 42 дней	39	29	26 %
активен 30 из 42 дней	10	7	30 %
активен 35 из 42 дней	5	3	40 %

Ни один порог не перевалил за 40 %. Ужесточение не помогало: оно лишь уменьшало число догадок, оставляя большинство из них неверными.

Почему, и это не дефект

Причина — сама аудитория. Из 2 282 счётчиков с потоком 60 % записывают что-нибудь самое большее в шесть дней из сорока двух. Это маленькие сайты. Пробел для них — нормальное состояние. «Четырнадцать дней ничего» означает там почти всегда отпуск, тихий месяц, страницу, которую никто случайно не открыл, а не сломанную вставку.

Сторож, ошибающийся два раза из трёх, не просто не помогает. Он приучает людей отмахиваться от него, и это стоит им того единственного раза, когда он прав.

Поэтому он смотрит, а не гадает

Тишина по-прежнему используется, но лишь как предварительный отбор. Она ничего не стоит, работает по уже собранным данным, и ей позволено быть неточной, потому что она ничего не решает. Решение принимается тем, что страницу забирают и смотрят, стоит ли в ней ещё счётчик. Догадка на 30 % превращается в наблюдение.

Отсюда следуют три вещи, и каждая сужает эту возможность:

• Нет адреса страницы — нет письма. Адрес есть лишь у 41 % действующих счётчиков; у остальных страница неизвестна, потому что вставка её не передаёт. Лучше верно предупредить четверых, чем тринадцать с шумом.
• Неясно — это не сломано. Если страницу оценить нельзя — слой кэша, оболочка на JavaScript, ошибка сервера — итог звучит «неясно». Мы его не увидели, а это другое утверждение, чем то, что его нет.
• Подозрение должно пережить две ночи. Сайт, не отвечающий один вечер, не повод для почты.

А сама почта уходит только тем, кто подтвердил, что хочет её. В старой таблице счётчиков стоят 4 145 адресов, доставшихся от прежней службы. Им позволено ответить на запрос; о почте они никогда не просили, и разница между этими двумя вещами и есть всё дело.