Mengapa AI tidak berjalan di server kami

Tidak ada model bahasa yang berjalan di mesin yang melayani situs ini. Ringkasan dihitung di perangkat kedua yang mengambil tugas, mengerjakannya, lalu mengembalikan kalimat-kalimatnya.

Alasannya aritmetika. Model 3B menempati lebih dari satu gigabyte memori dan membutuhkan hitungan detik per jawaban. Kueri basis data terberat di seluruh aplikasi ini memakan waktu 581 milidetik. Menempatkan keduanya di papan yang sama berarti gambar penghitung dari 379.000 penghitung harus menunggu di belakang pembuat teks, padahal gambar-gambar itulah produk yang sesungguhnya.

Apa biayanya, dan apa yang didapat

Biayanya adalah mesin kedua dan sebuah antrean. Tugas dibagikan paling banyak dua puluh sekaligus; antrean punya batas atas, dan ketika penuh tidak ada tugas baru yang dibuat — kalimat yang sudah ditulis tetap terlihat. Ringkasan yang berumur seminggu tidak masalah. Ringkasan yang tidak ada pun tidak masalah. Halaman statistik yang lambat karena ada hal lain di papan yang sedang berpikir, itulah yang bermasalah.

Yang didapat adalah jalur penghitungan tidak pernah berbagi mesin dengan apa pun yang tidak dapat diprediksi. Menggambar gambar penghitung adalah pekerjaan kecil dengan batas yang jelas. Menghasilkan teks tidak demikian: rentang terukur untuk satu kalimat di sini adalah 5,4 hingga 54,3 detik, selisih sepuluh kali lipat antara kasus cepat dan kasus lambat, yang ditentukan oleh hal-hal yang tidak dapat dilihat server sebelumnya.

Apa yang keluar dari rumah

Inilah bagian yang harus diputuskan sebelum apa pun dibangun, karena inilah bagian yang tidak bisa diperbaiki sesudahnya.

Mesin kedua hanya menerima angka yang sudah publik di halaman statistik penghitung itu sendiri, dan hanya dari penghitung yang halaman statistiknya memang publik — bukan privat, bukan dilindungi kata sandi. Pekerja itu tidak mengetahui apa pun yang tidak bisa dibaca oleh pengunjung halaman tersebut dengan membukanya.

Itu bukan efek samping yang kebetulan menguntungkan dari cara kode ini akhirnya tersusun. Kueri kandidat menyaring berdasarkan hal itu, dan tanpa saringan tersebut seluruh fitur ini akan berarti memindahkan data orang lain ke perangkat kedua. Tidak ada versi “kami akan berhati-hati dengannya” yang sebaik tidak mengirimkannya sama sekali.

Bentuk umumnya

Dari sini lahir dua aturan yang lebih berharga daripada fitur itu sendiri.

Jauhkan pekerjaan tanpa batas dari jalur yang berbatas. Apa pun yang waktu jalannya tidak dapat diprediksi bahkan dalam rentang satu orde besaran tidak pantas berada di mesin yang harus menjawab dalam milidetik. Bukan “biasanya baik-baik saja” — kasus lambatlah yang penting, dan kasus itu selalu datang.

Putuskan apa yang boleh keluar sebelum memutuskan apa yang akan dibangun. Seandainya jawabannya “pekerja juga membutuhkan penghitung privat”, tanggapan yang benar bukanlah mengamankan pemindahannya. Tanggapan yang benar adalah bahwa fitur ini tidak mencakup penghitung privat, dan memang begitulah adanya.