Почему модель работает на другой машине

На машине, которая отдаёт этот сайт, не работает никакая языковая модель. Обзоры считаются на втором устройстве, которое забирает задания, считает и приносит предложения обратно.

Причина — арифметика. Модель на 3B занимает больше гигабайта памяти и требует секунд на ответ. Самый тяжёлый запрос к базе во всём этом приложении длится 581 миллисекунду. Поставить и то и другое на одну плату значит, что изображения 379 000 счётчиков ждут за генератором текста — а именно они и есть настоящий продукт.

Чего это стоит и что даёт

Стоит второй машины и очереди. Задания выдаются не более чем по двадцать за раз; у очереди есть потолок, и когда она полна, ничего нового не появляется — уже написанные предложения остаются видимыми. Обзор недельной давности — нормально. Отсутствующий обзор — нормально. Страница статистики, медленная оттого, что на той же плате что-то думает, — нет.

Даёт это то, что путь счёта никогда не делит машину с чем-то непредсказуемым. Нарисовать изображение счётчика — малая, ограниченная работа. Породить текст — нет: измеренный разброс для одного предложения здесь от 5,4 до 54,3 секунды, разница в десять раз между быстрым и медленным случаем, и ничего из этого Pi заранее не видит.

Что покидает дом

Это та часть, которую надо было решить прежде, чем что-либо строить, потому что её потом не починишь.

Вторая машина получает только числа, которые на странице статистики счётчика и так публичны, и только от счётчиков, чья страница статистики вообще публична — не частная, без пароля. Работник не узнаёт ничего, чего посетитель этой страницы не мог бы прочесть, просто открыв её.

Это не счастливый побочный итог того, как получился код. Запрос кандидатов фильтрует по этому, и без такого фильтра вся возможность была бы передачей чужих данных на второе устройство. Нет такой версии «мы будем с этим бережны», которая была бы так же хороша, как: не отправлять.

Общая форма

Отсюда вышли два правила, которые стоят больше самой возможности.

Неограниченной работе не место на ограниченном пути. Всё, чьё время выполнения нельзя предсказать с точностью до порядка, не место на машине, которая обязана отвечать за миллисекунды. Не «обычно всё в порядке» — важен медленный случай, и он приходит всегда.

Решай, чему позволено выйти, прежде чем решать, что строить. Будь ответ «работнику нужны и частные счётчики», правильной реакцией было бы не обезопасить передачу. Правильной было бы то, что возможность не охватывает частные счётчики — и именно так она и устроена.