Γιατί η τεχνητή νοημοσύνη δεν τρέχει στον διακομιστή μας

Κανένα γλωσσικό μοντέλο δεν τρέχει στο μηχάνημα που εξυπηρετεί αυτόν τον ιστότοπο. Οι συνόψεις υπολογίζονται σε μια δεύτερη συσκευή, η οποία παραλαμβάνει εργασίες, κάνει τη δουλειά και φέρνει πίσω τις προτάσεις.

Ο λόγος είναι απλή αριθμητική. Ένα μοντέλο 3B καταλαμβάνει πάνω από ένα gigabyte μνήμης και χρειάζεται δευτερόλεπτα για κάθε απάντηση. Το βαρύτερο ερώτημα βάσης δεδομένων σε ολόκληρη αυτή την εφαρμογή διαρκεί 581 χιλιοστά του δευτερολέπτου. Αν τα δύο μπουν στο ίδιο μηχάνημα, οι εικόνες των 379.000 μετρητών περιμένουν πίσω από μια γεννήτρια κειμένου, ενώ αυτές είναι το πραγματικό προϊόν.

Τι κοστίζει και τι κερδίζουμε

Το κόστος είναι ένα δεύτερο μηχάνημα και μια ουρά. Οι εργασίες μοιράζονται το πολύ είκοσι κάθε φορά· η ουρά έχει ανώτατο όριο, και όταν γεμίσει δεν δημιουργείται τίποτα καινούργιο — οι προτάσεις που έχουν ήδη γραφτεί παραμένουν ορατές. Μια σύνοψη μιας εβδομάδας είναι μια χαρά. Μια σύνοψη που λείπει είναι επίσης μια χαρά. Μια σελίδα στατιστικών που αργεί επειδή κάτι άλλο στο ίδιο μηχάνημα σκέφτεται δεν είναι.

Αυτό που κερδίζουμε είναι ότι η διαδρομή της καταμέτρησης δεν μοιράζεται ποτέ μηχάνημα με οτιδήποτε απρόβλεπτο. Η σχεδίαση μιας εικόνας μετρητή είναι ένας μικρός, οριοθετημένος όγκος εργασίας. Η παραγωγή κειμένου δεν είναι: το μετρημένο εύρος για μία πρόταση εδώ είναι από 5,4 έως 54,3 δευτερόλεπτα, δεκαπλάσια διαφορά ανάμεσα στη γρήγορη και την αργή περίπτωση, και ποια από τις δύο θα συμβεί δεν το καθορίζει τίποτα που ο διακομιστής μπορεί να δει εκ των προτέρων.

Τι βγαίνει έξω από το σπίτι

Αυτό είναι το κομμάτι που έπρεπε να αποφασιστεί πριν χτιστεί οτιδήποτε, γιατί είναι το κομμάτι που δεν μπορεί να διορθωθεί εκ των υστέρων.

Το δεύτερο μηχάνημα λαμβάνει μόνο αριθμούς που είναι ήδη δημόσιοι στην ίδια τη σελίδα στατιστικών του μετρητή, και μόνο από μετρητές των οποίων η σελίδα στατιστικών είναι όντως δημόσια — όχι ιδιωτική, όχι προστατευμένη με κωδικό πρόσβασης. Το μηχάνημα εργασίας δεν μαθαίνει τίποτα που δεν θα μπορούσε να διαβάσει ένας επισκέπτης αυτής της σελίδας απλώς ανοίγοντάς την.

Αυτό δεν είναι μια ευχάριστη παρενέργεια του τρόπου που βγήκε ο κώδικας. Το ερώτημα που επιλέγει τους υποψήφιους φιλτράρει ακριβώς με αυτό το κριτήριο, και χωρίς αυτό το φίλτρο ολόκληρη η λειτουργία θα ήταν μεταφορά δεδομένων άλλων ανθρώπων σε μια δεύτερη συσκευή. Καμία εκδοχή του «θα είμαστε προσεκτικοί με αυτά» δεν είναι τόσο καλή όσο το να μη σταλούν καθόλου.

Το γενικό μοτίβο

Από αυτό προέκυψαν δύο κανόνες που αξίζουν περισσότερο από την ίδια τη λειτουργία.

Κρατήστε την απρόβλεπτη εργασία μακριά από τη διαδρομή με όρια. Ό,τι έχει χρόνο εκτέλεσης απρόβλεπτο κατά μια τάξη μεγέθους δεν ανήκει στο μηχάνημα που πρέπει να απαντά σε χιλιοστά του δευτερολέπτου. Όχι «συνήθως είναι εντάξει» — η αργή περίπτωση είναι αυτή που μετράει, και πάντα έρχεται.

Αποφασίστε τι επιτρέπεται να φύγει πριν αποφασίσετε τι θα χτίσετε. Αν η απάντηση ήταν «το μηχάνημα εργασίας χρειάζεται και τους ιδιωτικούς μετρητές», η σωστή αντίδραση δεν θα ήταν να ασφαλιστεί η μεταφορά. Θα ήταν να μην καλύπτει η λειτουργία τους ιδιωτικούς μετρητές, και έτσι ακριβώς λειτουργεί.