Waarom de AI niet op onze server draait
Op de machine die deze site bedient, draait geen enkel taalmodel. De samenvattingen worden berekend op een tweede apparaat dat opdrachten ophaalt, het werk doet, en de zinnen terugbrengt.
De reden is rekenwerk. Een 3B-model neemt ruim een gigabyte geheugen in beslag en heeft seconden per antwoord nodig. De zwaarste databasebevraging in deze hele toepassing kost 581 milliseconden. Die twee op hetzelfde bord zetten betekent dat de tellerafbeeldingen van 379.000 tellers achter een tekstgenerator staan te wachten, en zij zijn het eigenlijke product.
Wat dat kost, en wat het oplevert
De kosten zijn een tweede machine en een wachtrij. Opdrachten worden hoogstens twintig tegelijk uitgedeeld; de wachtrij heeft een plafond, en is die vol, dan wordt er niets nieuws aangemaakt — de al geschreven zinnen blijven zichtbaar. Een samenvatting van een week oud is prima. Een samenvatting die ontbreekt is prima. Een statistiekpagina die traag is omdat er iets anders op het bord staat te denken, is dat niet.
Wat het oplevert, is dat het telpad nooit een machine deelt met iets onvoorspelbaars. Een tellerafbeelding tekenen is een kleine, begrensde hoeveelheid werk. Tekst genereren niet: het gemeten bereik voor één zin is hier 5,4 tot 54,3 seconden, een factor tien tussen het snelle en het trage geval, bepaald door niets wat de server vooraf kan zien.
Wat er de deur uit gaat
Dit is het deel dat beslist moest worden voordat er iets van gebouwd werd, want het is het deel dat achteraf niet te herstellen valt.
De tweede machine ontvangt alleen getallen die al openbaar op de eigen statistiekpagina van de teller staan, en alleen van tellers waarvan de statistiekpagina überhaupt openbaar is — niet privé, niet met een wachtwoord beschermd. De werker leert niets wat een bezoeker van die pagina niet zou kunnen lezen door haar te openen.
Dat is geen gelukkig neveneffect van hoe de code toevallig is uitgevallen. De kandidatenbevraging filtert erop, en zonder dat filter zou de hele voorziening de overdracht van andermans gegevens naar een tweede apparaat zijn. Er bestaat geen versie van "we gaan er voorzichtig mee om" die zo goed is als het niet versturen.
De algemene vorm
Hier zijn twee regels uit gekomen die meer waard zijn dan de voorziening zelf.
Houd onbegrensd werk van het begrensde pad. Alles waarvan de looptijd binnen een orde van grootte onvoorspelbaar is, hoort niet op de machine die in milliseconden moet antwoorden. Niet "meestal prima" — het trage geval is het geval dat ertoe doet, en het komt altijd.
Beslis wat er weg mag voordat je beslist wat je bouwt. Was het antwoord geweest "de werker heeft ook de privétellers nodig", dan was het juiste antwoord niet de overdracht te beveiligen. Het was dat de voorziening geen privétellers dekt, en dat is wat ze doet.