Чому модель працює на іншій машині

На машині, яка віддає цей сайт, не працює жодна мовна модель. Огляди рахуються на другому пристрої, який забирає завдання, рахує і приносить речення назад.

Причина — арифметика. Модель на 3B займає понад гігабайт пам’яті й потребує секунд на відповідь. Найважчий запит до бази в усьому цьому застосунку триває 581 мілісекунду. Поставити і те, і те на одну плату означає, що зображення 379 000 лічильників чекають за генератором тексту — а саме вони і є справжній продукт.

Чого це коштує і що дає

Коштує другої машини й черги. Завдання видаються не більш ніж по двадцять за раз; у черги є стеля, і коли вона повна, нічого нового не з’являється — вже написані речення лишаються видимими. Огляд тижневої давності — нормально. Відсутній огляд — нормально. Сторінка статистики, повільна через те, що на тій самій платі щось думає, — ні.

Дає це те, що шлях обліку ніколи не ділить машину з чимось непередбачуваним. Намалювати зображення лічильника — мала, обмежена робота. Породити текст — ні: виміряний розкид для одного речення тут від 5,4 до 54,3 секунди, різниця вдесятеро між швидким і повільним випадком, і нічого з цього Pi заздалегідь не бачить.

Що покидає дім

Це та частина, яку треба було вирішити перш, ніж будь-що будувати, бо її потім не полагодиш.

Друга машина отримує лише числа, які на сторінці статистики лічильника і так публічні, і лише від лічильників, чия сторінка статистики взагалі публічна — не приватна, без пароля. Робітник не дізнається нічого, чого відвідувач цієї сторінки не міг би прочитати, просто відкривши її.

Це не щасливий побічний підсумок того, як вийшов код. Запит кандидатів фільтрує за цим, і без такого фільтра вся можливість була б передаванням чужих даних на другий пристрій. Немає такої фасунки «ми будемо з цим дбайливі», яка була б така сама добра, як: не надсилати.

Загальна форма

Звідси вийшли два правила, які варті більше за саму можливість.

Необмеженій роботі не місце на обмеженому шляху. Усе, чий час виконання не можна передбачити з точністю до порядку, не місце на машині, яка мусить відповідати за мілісекунди. Не «зазвичай усе гаразд» — важить повільний випадок, і він приходить завжди.

Вирішуй, чому дозволено вийти, перш ніж вирішувати, що будувати. Якби відповідь була «робітникові потрібні й приватні лічильники», правильною реакцією було б не убезпечити передавання. Правильним було б те, що можливість не охоплює приватних лічильників — і саме так вона й влаштована.