Yapay zekâ neden sunucumuzda çalışmıyor

Bu siteyi sunan makinede hiçbir dil modeli çalışmıyor. Özetler, işleri kendisi çekip hesaplayan ve cümleleri geri getiren ikinci bir cihazda üretiliyor.

Nedeni basit bir hesap meselesi. 3 milyar parametreli bir model bir gigabayttan fazla bellek kaplar ve her yanıt için saniyeler ister. Bu uygulamanın tamamındaki en ağır veritabanı sorgusu 581 milisaniye sürüyor. İkisini aynı kart üzerinde çalıştırmak, 379.000 sayacın görsellerinin bir metin üreticisinin arkasında sıra beklemesi demektir; oysa asıl ürün o görsellerdir.

Bedeli ve getirisi

Bedeli, ikinci bir makine ve bir kuyruk. İşler bir seferde en fazla yirmi tane dağıtılır; kuyruğun bir üst sınırı vardır ve kuyruk dolduğunda yeni iş oluşturulmaz — önceden yazılmış cümleler görünmeye devam eder. Bir haftalık bir özet sorun değil. Hiç yazılmamış bir özet de sorun değil. Ama aynı karttaki başka bir şey düşünmekle meşgul olduğu için yavaşlayan bir istatistik sayfası sorundur.

Getirisi ise sayım yolunun hiçbir zaman öngörülemeyen bir şeyle aynı makineyi paylaşmaması. Bir sayaç görseli çizmek küçük ve sınırları belli bir iştir. Metin üretmek öyle değildir: burada tek bir cümle için ölçülen aralık 5,4 ile 54,3 saniye; hızlı durumla yavaş durum arasında on kat fark var ve bunu, sunucunun önceden görebileceği hiçbir şey belirlemiyor.

Dışarı çıkan veriler

Hiçbir şey kurulmadan önce karara bağlanması gereken kısım buydu, çünkü sonradan düzeltilemeyecek olan kısım da bu.

İkinci makine yalnızca, sayacın kendi istatistik sayfasında zaten herkese açık olan sayıları alır; üstelik yalnızca istatistik sayfası herkese açık olan sayaçlardan — gizli olanlardan ya da parolayla korunanlardan değil. İşi yapan makine, o sayfayı açan bir ziyaretçinin okuyamayacağı hiçbir şeyi öğrenmez.

Bu, kodun şekillenişinden kendiliğinden doğan hoş bir yan etki değil. Aday sayaçları seçen sorgu tam olarak buna göre filtreler; bu filtre olmasaydı özelliğin tamamı, başkalarının verilerinin ikinci bir cihaza aktarılmasından ibaret olurdu. “Veriye özen gösteririz” demenin hiçbir biçimi, veriyi hiç göndermemek kadar iyi değildir.

Genel örüntü

Bundan, özelliğin kendisinden daha değerli iki kural çıktı.

Süresi belirsiz işi, süresi sınırlı yoldan uzak tutun. Çalışma süresi bir büyüklük mertebesi içinde bile öngörülemeyen hiçbir şey, milisaniyeler içinde yanıt vermesi gereken makinede yer almamalı. “Genelde sorun olmaz” yetmez — önemli olan yavaş durumdur ve o durum er geç mutlaka gelir.

Neyi inşa edeceğinize karar vermeden önce, dışarıya neyin çıkabileceğine karar verin. Yanıt “işi yapan makinenin gizli sayaçlara da ihtiyacı var” olsaydı, doğru tepki aktarımı güvenceye almak olmazdı. Doğru tepki, özelliğin gizli sayaçları kapsamaması olurdu; nitekim kapsamıyor da.