Proč AI neběží na našem serveru

Na stroji, který obsluhuje tento web, neběží žádný jazykový model. Shrnutí se počítají na druhém zařízení, které si stahuje úlohy, zpracuje je a věty přinese zpět.

Důvodem je aritmetika. Model 3B zabere přes gigabajt paměti a na jednu odpověď potřebuje sekundy. Nejtěžší databázový dotaz v celé této aplikaci trvá 581 milisekund. Dát obojí na tutéž desku znamená, že obrázky 379 000 počítadel čekají za generátorem textu, a přitom jsou právě ony vlastním produktem.

Co to stojí a co to přináší

Cenou je druhý stroj a fronta. Úlohy se vydávají nejvýše po dvaceti najednou; fronta má strop, a když je plná, nic nového nevzniká — už napsané věty zůstávají vidět. Shrnutí staré týden nevadí. Chybějící shrnutí nevadí. Stránka statistik, která je pomalá, protože o kus vedle na desce něco přemýšlí, vadí.

Přináší to, že cesta počítání nikdy nesdílí stroj s ničím nepředvídatelným. Vykreslit obrázek počítadla je malá, ohraničená práce. Generovat text není: naměřené rozpětí pro jednu větu je tu 5,4 až 54,3 sekundy, desetinásobek mezi rychlým a pomalým případem, a rozhoduje o tom něco, co server předem nevidí.

Co opouští dům

Tohle se muselo rozhodnout dřív, než se z toho cokoli postavilo, protože právě tohle se dodatečně opravit nedá.

Druhý stroj dostává jen čísla, která jsou už veřejná na vlastní stránce statistik daného počítadla, a to jen od počítadel, jejichž stránka statistik je vůbec veřejná — ne soukromá, ne chráněná heslem. Pracovní stroj se nedozví nic, co by si návštěvník té stránky nemohl přečíst, kdyby ji otevřel.

Není to šťastný vedlejší účinek toho, jak kód náhodou dopadl. Dotaz na kandidáty podle toho filtruje, a bez toho filtru by celá funkce byla předáváním cizích dat na druhé zařízení. Žádná verze „budeme s tím opatrní“ není tak dobrá jako to vůbec neposlat.

Obecný tvar

Vyplynula z toho dvě pravidla, která mají větší cenu než samotná funkce.

Neohraničenou práci držte mimo ohraničenou cestu. Cokoli, jehož doba běhu je nepředvídatelná v rozsahu řádu, nepatří na stroj, který musí odpovídat v milisekundách. Ne „obvykle v pořádku“ — rozhoduje pomalý případ, a ten vždycky přijde.

Rozhodněte, co smí odejít, dřív, než rozhodnete, co postavit. Kdyby odpověď zněla „pracovní stroj potřebuje i soukromá počítadla“, správnou reakcí by nebylo zabezpečit přenos. Byla by jí to, že se funkce na soukromá počítadla nevztahuje, a tak to také je.