De ce IA nu rulează pe serverul nostru
Pe mașina care servește acest site nu rulează niciun model lingvistic. Rezumatele sunt calculate pe un al doilea dispozitiv, care preia sarcini, face munca și aduce propozițiile înapoi.
Motivul este aritmetic. Un model 3B ocupă peste un gigabyte de memorie și are nevoie de secunde pentru fiecare răspuns. Cea mai grea interogare de bază de date din întreaga aplicație durează 581 de milisecunde. A le pune pe amândouă pe aceeași placă înseamnă că imaginile a 379.000 de contoare așteaptă după un generator de text, iar ele sunt produsul propriu-zis.
Ce costă asta și ce aduce
Costul este o a doua mașină și o coadă. Sarcinile sunt distribuite câte cel mult douăzeci odată; coada are un plafon, iar când este plină nu se creează nimic nou — propozițiile deja scrise rămân vizibile. Un rezumat vechi de o săptămână este în regulă. Un rezumat care lipsește este în regulă. O pagină de statistici lentă pentru că altceva de pe placă stă și gândește nu este.
Ce aduce este faptul că drumul numărării nu împarte niciodată mașina cu ceva imprevizibil. Desenarea imaginii unui contor este o cantitate mică și limitată de muncă. Generarea de text nu este: intervalul măsurat aici pentru o propoziție este de la 5,4 la 54,3 secunde, un factor de zece între cazul rapid și cel lent, determinat de nimic din ce ar putea vedea serverul dinainte.
Ce iese din casă
Aceasta este partea care trebuia decisă înainte de a construi ceva, pentru că este partea care nu mai poate fi reparată ulterior.
A doua mașină primește doar cifre care sunt deja publice pe pagina de statistici a contorului respectiv și doar de la contoare a căror pagină de statistici este publică — nu privată, nu protejată prin parolă. Mașina de lucru nu află nimic din ce un vizitator al acelei pagini nu ar putea citi deschizând-o.
Acesta nu este un efect secundar fericit al felului în care a ieșit codul. Interogarea care selectează candidații filtrează după acest criteriu, iar fără acel filtru întreaga funcție ar fi un transfer al datelor altor oameni către un al doilea dispozitiv. Nu există nicio variantă de „vom avea grijă de ele” care să fie la fel de bună ca a nu le trimite deloc.
Forma generală
De aici au ieșit două reguli care valorează mai mult decât funcția însăși.
Țineți munca nelimitată departe de drumul limitat. Orice lucru al cărui timp de execuție nu poate fi prevăzut nici măcar cu precizia unui ordin de mărime nu își are locul pe mașina care trebuie să răspundă în milisecunde. Nu „de obicei merge” — cazul lent este cel care contează, și el vine întotdeauna.
Decideți ce are voie să plece înainte de a decide ce construiți. Dacă răspunsul ar fi fost „mașina de lucru are nevoie și de contoarele private”, reacția corectă nu era securizarea transferului. Era ca funcția să nu acopere contoarele private, ceea ce se și întâmplă.