Zašto veštačka inteligencija ne radi na našem serveru

Nijedan jezički model ne radi na računaru koji služi ovaj sajt. Sažetke računa drugi uređaj koji preuzima zadatke, obavi posao i vrati rečenice.

Razlog je aritmetika. Model od 3B zauzima preko gigabajta memorije i treba mu nekoliko sekundi po odgovoru. Najteži upit nad bazom u celoj ovoj aplikaciji traje 581 milisekundu. Ako se jedno i drugo stavi na istu ploču, slike brojača 379.000 brojača čekaju iza generatora teksta, a one su pravi proizvod.

Šta to košta i šta donosi

Cena je drugi računar i red čekanja. Zadaci se dele najviše po dvadeset odjednom; red ima gornju granicu, a kada je pun, ništa novo se ne pravi — već napisane rečenice ostaju vidljive. Sažetak star nedelju dana je u redu. Sažetak koji nedostaje je u redu. Statistička stranica koja je spora zato što nešto drugo na ploči razmišlja nije u redu.

Dobit je u tome što putanja brojanja nikada ne deli računar ni sa čim nepredvidivim. Crtanje slike brojača je mala, ograničena količina posla. Generisanje teksta nije: izmereni opseg za jednu rečenicu ovde je od 5,4 do 54,3 sekunde, deset puta razlike između brzog i sporog slučaja, a to ništa što server može da vidi unapred ne određuje.

Šta izlazi iz kuće

To je deo koji je trebalo odlučiti pre nego što je bilo šta napravljeno, jer se samo taj deo ne može popraviti naknadno.

Drugi računar prima samo brojeve koji su već javni na statističkoj stranici samog brojača, i to samo od brojača čija je statistička stranica uopšte javna — ne privatna i ne zaštićena lozinkom. Radnik ne saznaje ništa što posetilac te stranice ne bi mogao da pročita kada je otvori.

To nije srećna usputna posledica toga kako je kod ispao. Upit za kandidate filtrira upravo po tome, a bez tog filtera cela funkcija bila bi prenos tuđih podataka na drugi uređaj. Ne postoji verzija „bićemo pažljivi s tim“ koja je jednako dobra kao to da se podaci ne šalju.

Opšti oblik

Iz ovoga su proistekla dva pravila koja vrede više od same funkcije.

Neograničen posao držite van ograničene putanje. Sve čije je vreme izvršavanja nepredvidivo u okviru reda veličine ne pripada računaru koji mora da odgovori za milisekunde. Ne „obično je u redu“ — spori slučaj je onaj koji je važan i uvek stigne.

Odlučite šta sme da izađe pre nego što odlučite šta ćete graditi. Da je odgovor bio „radniku trebaju i privatni brojači“, ispravan odgovor nije bio da se prenos zaštiti. Bio je da funkcija ne obuhvata privatne brojače, što je upravo ono što ona i radi.