Yapay zekâ neyi yazabilir, neyi yazamaz

Buradaki herkese açık bir istatistik sayfasının en üstünde, sayacın bu ay ne yaptığını anlatan iki üç cümle bulunabilir. Bu cümleleri bir dil modeli yazar. Model hiçbir şey uydurmaz; bunu doğru kılan düzen anlatmaya değer, çünkü bu özelliği kurmanın bariz yolu bu niteliğe sahip değildir.

Sunucu SQL'i çalıştırır, hangi rakamın anılmaya değer olduğuna karar verir ve istemi yazar. Model tek bir olguyu istenen dilde tek bir cümleye dönüştürür. Ardından sunucu yanıtı geri okur ve içindeki bir rakam istemden gelmemişse yanıtı çöpe atar.

Yani modelin tek özgürlüğü ifade biçimi. Neyin ilginç olduğunu seçmez, hesap yapmaz, yuvarlama yapmaz. Katkısı, şablonların yapamadığı şey: dil gibi okunan on bir dil.

Üç kontrol ve her birinin karşılık geldiği hata

Hiçbiri ihtiyattan yazılmadı. Her biri, 17 Ağustos 2026'da belirli bir şey ters gittiği için var. Küçük bir modele tek bir sayaç hakkında iki olgu verildi — haftanın en yoğun günü %46 ile pazartesi ve 5 ülkeden gelen ziyaretçilerin %76'sı Polonya'dan — ve model, en yoğun günün çarşamba olduğunu ve ziyaretçilerin %46'sının Polonya'dan geldiğini söyleyen bir cümle üretti.

Tek cümlede iki farklı hata ve hiçbiri uydurulmuş bir sayı değil.

• Her rakam istemde geçmelidir. Bu, uydurulmuş rakamları yakalar. Sonradan kolayca yanlış yapılabilecek bir sonucu var: istemin talimat kısmında hiç rakam yok. “Bir ya da iki cümle” der, asla “1-2” demez; yoksa 1 ve 2 yanıtta izin verilen sayılar hâline gelirdi.
• Olgu başına tek istem. Bu, yer değiştirmiş rakamları yakalar. Yukarıdaki 46 gerçekti — yalnızca diğer olguya aitti ve sayıların kümesi üzerinden yapılan bir kontrol bunu göremez. Model her seferinde yalnızca tek bir olgu görürse, yer değiştirecek bir şey kalmaz.
• Adlar da kontrol edilir. Bu, “pazartesi”nin “çarşamba”ya dönüşmesini yakalar. Ad, olguda hedef dilde yer alır; yanıtta birebir geçmek zorundadır ve aynı gruptaki diğer adlar geçmemelidir.

Yakalayamadıkları

Bu da geri kalanıyla aynı nefeste söylenmeli. İki şey arada kaçıyor.

Rakam kullanmadan yanlış bir şey söyleyen bir cümle — %46 iken “ziyaretçilerin çoğu” — üç kontrolün hiçbirine takılmaz. Tasarım bunu başka yoldan karşılar: yargı, modelin özgürlüğünde değil, sunucunun seçtiği olgunun içindedir zaten.

Rakamlar tuttuğu sürece, olgusundan farklı bir konu hakkında olan bir cümle de geçer. Buna karşı elde yalnızca talimatlara uyan bir model var. Bir ad taşıyan özellikler için — haftanın günü, cihaz, bot, sayfa — üçüncü kontrol bunu da kapsar.

Yalnızca uydurulmuş sayıları yakalayan bir doğrulama, yukarıdaki cümleyi olduğu gibi geçirirdi. Cümlede yanlış yerlerde gerçek sayılar vardı; bu, yalnızca çıktıda ortaya çıkan, fikirde ise asla görünmeyen bir hata türüdür.