למה הבינה המלאכותית אינה פועלת בשרת שלנו

שום מודל שפה אינו פועל במחשב שמגיש את האתר הזה. הסקירות מחושבות במכשיר שני ששולף משימות, עושה את העבודה ומחזיר את המשפטים.

הסיבה היא חשבון. מודל 3B תופס יותר מגיגה־בייט זיכרון וזקוק לשניות לכל תשובה. שאילתת מסד הנתונים הכבדה ביותר ביישום כולו אורכת 581 אלפיות השנייה. הצבת שניהם על אותו לוח פירושה שתמונות המונה של 379,000 מונים ממתינות מאחורי מחולל טקסט, והן המוצר האמיתי.

מה זה עולה, ומה זה נותן

המחיר הוא מחשב שני ותור. משימות מחולקות לכל היותר עשרים בכל פעם; לתור יש תקרה, וכשהוא מלא לא נוצר דבר חדש — המשפטים שכבר נכתבו נשארים גלויים. סקירה בת שבוע היא בסדר. סקירה חסרה היא בסדר. דף סטטיסטיקה איטי מפני שמשהו אחר על הלוח חושב אינו בסדר.

התמורה היא שמסלול הספירה לעולם אינו חולק מחשב עם משהו בלתי צפוי. ציור תמונת מונה הוא כמות עבודה קטנה ומוגבלת. יצירת טקסט אינה כזאת: הטווח שנמדד כאן למשפט אחד הוא 5.4 עד 54.3 שניות, פי עשרה בין המקרה המהיר לאיטי, בלי ששום דבר שהשרת יכול לראות מראש קובע זאת.

מה יוצא מהבית

זה החלק שהיה צריך להחליט לפני שבנו דבר, כי זה החלק שאי אפשר לתקן אחר כך.

המחשב השני מקבל רק מספרים שכבר ציבוריים בדף הסטטיסטיקה של המונה עצמו, ורק ממונים שדף הסטטיסטיקה שלהם ציבורי מלכתחילה — לא פרטי, לא מוגן בסיסמה. הרכיב המבצע אינו לומד דבר שמבקר בדף הזה לא יכול לקרוא באמצעות פתיחתו.

זאת אינה תופעת לוואי משמחת של התוצאה שהתקבלה בקוד. שאילתת המועמדים מסננת לפי התנאי הזה, ובלי הסינון התכונה כולה תהיה העברת מידע של אנשים אחרים למכשיר שני. שום גרסה של “ניזהר עם המידע” אינה טובה כמו לא לשלוח אותו.

הדפוס הכללי

מכאן יצאו שני כללים ששווים יותר מהתכונה עצמה.

יש להרחיק עבודה בלתי מוגבלת מהמסלול המוגבל. כל דבר שזמן הריצה שלו אינו צפוי בטווח של סדר גודל אינו שייך למחשב שצריך לענות באלפיות השנייה. לא “בדרך כלל בסדר” — המקרה האיטי הוא החשוב, והוא תמיד מגיע.

יש להחליט מה מותר להוציא לפני שמחליטים מה לבנות. אילו התשובה הייתה “הרכיב המבצע זקוק גם למונים הפרטיים”, התגובה הנכונה לא הייתה לאבטח את ההעברה. היא הייתה שהתכונה אינה כוללת מונים פרטיים, וכך היא פועלת.