Защо ИИ не работи на нашия сървър

На машината, която обслужва този сайт, не работи никакъв езиков модел. Обобщенията се изчисляват на второ устройство, което взема задачите, върши работата и връща изреченията.

Причината е аритметична. Модел с 3B параметъра заема над гигабайт памет и се нуждае от секунди за всеки отговор. Най-тежката заявка към базата данни в цялото приложение отнема 581 милисекунди. Ако двете се сложат на една и съща платка, изображенията на 379 000 брояча чакат зад генератор на текст, а те са истинският продукт.

Какво струва това и какво носи

Цената е втора машина и опашка. Задачите се раздават най-много по двадесет наведнъж; опашката има таван и когато е пълна, не се създава нищо ново — вече написаните изречения остават видими. Обобщение отпреди седмица е наред. Липсващо обобщение е наред. Статистическа страница, която е бавна, защото нещо друго на платката мисли, не е наред.

Това, което носи, е, че пътят на броенето никога не споделя машина с нещо непредвидимо. Изчертаването на изображение на брояч е малко, ограничено количество работа. Генерирането на текст не е: измереният диапазон за едно изречение тук е от 5,4 до 54,3 секунди, десетократна разлика между бързия и бавния случай, която не зависи от нищо, което сървърът може да види предварително.

Какво напуска къщата

Това е частта, която трябваше да бъде решена, преди каквото и да било да бъде изградено, защото тя не може да бъде поправена след това.

Втората машина получава само числа, които са вече публични на собствената статистическа страница на брояча, и то само от броячи, чиято статистическа страница изобщо е публична — не лична, не защитена с парола. Работната машина не научава нищо, което посетител на тази страница не би могъл да прочете, като я отвори.

Това не е щастлив страничен ефект от начина, по който се е получил кодът. Заявката за кандидати филтрира по това, а без този филтър цялата функция би била прехвърляне на чужди данни към второ устройство. Няма вариант на „ще внимаваме с тях“, който да е толкова добър, колкото това данните изобщо да не се изпращат.

Общата форма

От това произлязоха две правила, които струват повече от самата функция.

Дръжте неограничената работа далеч от ограничения път. Всичко, чието време за изпълнение е непредвидимо в рамките на порядък, няма място на машината, която трябва да отговаря за милисекунди. Не „обикновено е наред“ — важен е бавният случай и той винаги идва.

Решете какво може да излезе навън, преди да решите какво да изградите. Ако отговорът беше „работната машина има нужда и от личните броячи“, правилната реакция нямаше да е да се защити прехвърлянето. Щеше да е функцията да не обхваща личните броячи — и точно така работи тя.