Miért nem a szerverünkön fut az MI

A weboldalt kiszolgáló gépen egyetlen nyelvi modell sem fut. Az összefoglalókat egy második eszköz készíti: lekéri a feladatokat, elvégzi a munkát, és visszaküldi a mondatokat.

Az ok egyszerű számtan. Egy 3B méretű modell több mint egy gigabájt memóriát foglal, és válaszonként másodpercekig dolgozik. Az egész alkalmazás legnehezebb adatbázis-lekérdezése 581 ezredmásodpercig tart. Ha a kettő ugyanazon a gépen osztozik, akkor 379 000 számláló képei várakoznak egy szöveggenerátor mögött, pedig ezek jelentik a tényleges terméket.

Mibe kerül, és mit nyerünk vele

Az ára egy második gép és egy várólista. A feladatokat egyszerre legfeljebb húszasával osztjuk ki; a várólistának van felső határa, és ha megtelt, nem jön létre új feladat — a már megírt mondatok láthatók maradnak. Egy egyhetes összefoglaló rendben van. Egy hiányzó összefoglaló is rendben van. Egy statisztikaoldal viszont, amely azért lassú, mert a gépen valami más éppen gondolkodik, nincs rendben.

Cserébe azt kapjuk, hogy a számlálás útja soha nem osztozik géppel semmi kiszámíthatatlannal. Egy számlálókép megrajzolása kicsi, jól behatárolt munka. A szöveggenerálás nem az: itt egyetlen mondatra 5,4 és 54,3 másodperc közötti időt mértünk, a gyors és a lassú eset között tízszeres a különbség, és ezt semmi olyasmi nem dönti el, amit a szerver előre láthatna.

Mi hagyja el a házat

Ezt a részt kellett eldönteni, mielőtt bármi is elkészült volna, mert ez az a rész, amelyet utólag nem lehet kijavítani.

A második gép csak olyan számokat kap, amelyek már nyilvánosak a számláló saját statisztikaoldalán, és csak olyan számlálóktól, amelyeknek a statisztikaoldala egyáltalán nyilvános — nem privát és nem jelszóval védett. A feldolgozó semmit sem tud meg, amit az oldal bármely látogatója ne olvashatna el, ha megnyitja.

Ez nem annak szerencsés mellékhatása, ahogyan a kód végül alakult. A jelölteket kiválasztó lekérdezés erre szűr, és e szűrő nélkül az egész funkció mások adatainak átadása volna egy második eszközre. A „majd vigyázunk rá” egyetlen változata sem olyan jó, mint el sem küldeni az adatot.

Az általános minta

Két szabály született ebből, amelyek többet érnek magánál a funkciónál.

Korlátlan munka nem való a korlátos útra. Aminek a futásideje egy nagyságrenden belül sem jósolható meg, az nem való arra a gépre, amelynek ezredmásodpercek alatt kell válaszolnia. Nem az számít, hogy „általában rendben van” — a lassú eset számít, és az mindig be is következik.

Előbb azt kell eldönteni, mi mehet ki a házból, és csak utána azt, mit építünk. Ha a válasz az lett volna, hogy „a feldolgozónak a privát számlálók is kellenek”, akkor nem az átvitel biztosítása lett volna a helyes lépés. Hanem az, hogy a funkció nem terjed ki a privát számlálókra, és pontosan így is működik.