Varför AI-modellen inte körs på vår server

Ingen språkmodell körs på maskinen som levererar den här webbplatsen. Sammanfattningarna beräknas på en annan enhet som hämtar jobb, utför arbetet och lämnar tillbaka meningarna.

Skälet är ren aritmetik. En 3B-modell tar upp över en gigabyte minne och behöver sekunder per svar. Den tyngsta databasfrågan i hela applikationen tar 581 millisekunder. Lägger man båda på samma maskin får räknarbilderna för 379 000 räknare vänta bakom en textgenerator, och det är de som är själva produkten.

Vad det kostar och vad det ger

Kostnaden är en andra maskin och en kö. Jobb delas ut högst tjugo åt gången; kön har ett tak, och när den är full skapas inget nytt — de meningar som redan är skrivna förblir synliga. En sammanfattning som är en vecka gammal går bra. En sammanfattning som saknas går bra. En statistiksida som är långsam för att något annat på maskinen sitter och tänker går inte.

Det man får är att räknevägen aldrig delar maskin med något oförutsägbart. Att rita en räknarbild är en liten, avgränsad mängd arbete. Att generera text är det inte: det uppmätta spannet för en mening är här 5,4 till 54,3 sekunder, en faktor tio mellan det snabba och det långsamma fallet, avgjort av ingenting som servern kan se i förväg.

Vad som lämnar huset

Det här var den del som måste avgöras innan något av det byggdes, eftersom det är den del som inte går att rätta i efterhand.

Den andra maskinen får bara siffror som redan är offentliga på räknarens egen statistiksida, och bara från räknare vars statistiksida över huvud taget är offentlig — inte privat, inte lösenordsskyddad. Arbetaren får inte veta något som en besökare på den sidan inte kunde läsa genom att öppna den.

Det är ingen lycklig bieffekt av hur koden råkade bli. Urvalsfrågan filtrerar på just det, och utan det filtret skulle hela funktionen vara en överföring av andra människors data till en annan enhet. Det finns ingen variant av ”vi ska vara försiktiga med dem” som är lika bra som att inte skicka dem alls.

Det allmänna mönstret

Ur detta kom två regler som är värda mer än själva funktionen.

Håll obegränsat arbete borta från den begränsade vägen. Allt vars körtid är oförutsägbar inom en tiopotens hör inte hemma på maskinen som måste svara på millisekunder. Inte ”brukar gå bra” — det är det långsamma fallet som spelar roll, och det kommer alltid.

Bestäm vad som får lämna huset innan du bestämmer vad som ska byggas. Om svaret hade varit ”arbetaren behöver de privata räknarna också” hade det rätta svaret inte varit att säkra överföringen. Det hade varit att funktionen inte omfattar privata räknare, och det gör den inte heller.