Prečo AI nebeží na našom serveri

Na stroji, ktorý poskytuje tento web, nebeží žiadny jazykový model. Prehľady sa počítajú na druhom zariadení, ktoré načíta úlohy, vykoná prácu a vráti vety.

Dôvodom je aritmetika. Model 3B zaberá viac než gigabajt pamäte a na odpoveď potrebuje sekundy. Najťažší databázový dopyt v celej tejto aplikácii trvá 581 milisekúnd. Umiestniť oboje na tú istú dosku znamená, že obrázky 379 000 počítadiel čakajú za generátorom textu, hoci skutočným produktom sú ony.

Čo to stojí a čo to prináša

Cenou je druhý stroj a front. Úlohy sa vydávajú najviac po dvadsiatich; front má hornú hranicu a keď je plný, nič nové nevzniká — už napísané vety zostávajú viditeľné. Týždeň starý prehľad je v poriadku. Chýbajúci prehľad je v poriadku. Stránka so štatistikami, ktorá je pomalá, pretože na doske rozmýšľa niečo iné, v poriadku nie je.

Prináša to stav, v ktorom mechanizmus počítania nikdy nezdieľa stroj s ničím nepredvídateľným. Vykreslenie obrázka počítadla je malé, ohraničené množstvo práce. Generovanie textu nie je: nameraný rozsah pre jednu vetu je tu 5,4 až 54,3 sekundy, desaťnásobný rozdiel medzi rýchlym a pomalým prípadom, určený niečím, čo server nemôže vidieť vopred.

Čo opúšťa dom

Toto sa muselo rozhodnúť pred vytvorením čohokoľvek, pretože je to časť, ktorá sa nedá opraviť dodatočne.

Druhý stroj dostáva iba čísla, ktoré sú už verejné na vlastnej stránke počítadla so štatistikami, a iba z počítadiel, ktorých stránka so štatistikami je vôbec verejná — nie súkromná, nie chránená heslom. Pracovné zariadenie sa nedozvie nič, čo by si návštevník tejto stránky nemohol prečítať jej otvorením.

Nie je to šťastný vedľajší účinok výsledného kódu. Dopyt kandidátov podľa toho filtruje a bez tohto filtra by celá funkcia bola prenosom cudzích údajov na druhé zariadenie. Žiadna verzia „budeme s tým zaobchádzať opatrne“ nie je taká dobrá ako nič neodoslať.

Všeobecný tvar

Vyplynuli z toho dve pravidlá, ktoré majú väčšiu hodnotu než samotná funkcia.

Neobmedzenú prácu držte mimo ohraničeného mechanizmu. Čokoľvek, čo má čas behu nepredvídateľný v rámci celého rádu, nepatrí na stroj, ktorý musí odpovedať v milisekundách. Nie „zvyčajne v poriadku“ — záleží na pomalom prípade a ten vždy príde.

Rozhodnite, čo smie odísť, skôr než rozhodnete, čo vytvoriť. Keby odpoveď znela „pracovné zariadenie potrebuje aj súkromné počítadlá“, správnou reakciou by nebolo zabezpečenie prenosu. Bolo by ňou to, že funkcia súkromné počítadlá nepokrýva, čo aj robí.