Model dan aplikasi di sekelilingnya

Saat kamu memakai aplikasi AI, ada dua lapis yang bekerja. Lapis dalam adalah model, yaitu model bahasa besar (large language model, LLM) yang menerima teks dan menghasilkan teks. Lapis luar adalah aplikasi: layar percakapan, tombol unggah, pengaturan, dan alat-alat yang ditempelkan di sekeliling model.

Model sendiri tidak bisa membuka internet, tidak bisa membaca berkas di komputermu, dan tidak tahu jam berapa sekarang. Yang ia punya hanya pengetahuan dari pelatihannya, dengan batas waktu tertentu yang disebut batas pengetahuan (knowledge cutoff; lihat pelajaran Pelatihan dan batas pengetahuan), dan teks yang dikirim kepadanya saat itu. Semua kemampuan lain ditambahkan aplikasi:

• Pencarian web: aplikasi mencari, lalu menempelkan hasilnya ke teks yang dibaca model.
• Membaca berkas dan gambar: aplikasi mengubah berkas menjadi teks, atau mengirim gambar ke model yang multimodal, yaitu model yang bisa menerima gambar selain teks.
• Menjalankan kode atau menghitung: aplikasi menjalankan kode yang ditulis model di tempat terpisah, lalu mengembalikan hasilnya.
• Konektor (connector): aplikasi menyambung ke email, kalender, atau penyimpanan berkasmu.

Karena itu, model yang sama bisa terasa sangat berbeda di dua aplikasi. Di satu aplikasi ia bisa mencari berita kemarin; di aplikasi lain ia hanya menebak dari ingatan pelatihannya. Pertanyaan pertama setiap kali kamu memakai alat baru: kemampuan apa yang disediakan aplikasi ini, dan mana yang sedang dinyalakan?

Hal yang paling sering disalahpahami adalah ingatan. Model tidak mengingat apa pun dari satu percakapan ke percakapan lain. Setiap kali kamu mengirim pesan, aplikasi mengirim ulang percakapan itu, dari pesan pertama, ke model; kalau percakapannya sudah terlalu panjang, bagian lamanya dipotong atau diringkas. Model membacanya dari awal dalam jendela konteksnya, lalu menjawab. Begitu percakapan ditutup, tidak ada yang tersisa di model.

Kalau aplikasi terasa "ingat" bahwa kamu bekerja di bagian keuangan, itu karena aplikasinya menyimpan catatan memori (memory) dan menempelkannya di awal setiap percakapan baru tanpa memberi tahu. Pengaturannya dibahas di pelajaran pengaturan data dan memori.

Dari sini muncul daftar hal yang selalu harus kamu berikan sendiri: tujuan dan pembaca pekerjaanmu, aturan dan istilah organisasimu, data atau dokumen yang dibahas, dan fakta yang berubah setelah batas pengetahuan model, seperti harga, aturan baru, atau nama pejabat sekarang. Model tidak bisa menebak semua itu dengan benar. Kalau tidak kamu berikan, ia akan mengisinya dengan sesuatu yang terdengar wajar.

Cara cepat mengetahui alat apa yang aktif: lihat ikon atau tombol di sekitar kotak ketik (biasanya ada pilihan pencarian, unggah berkas, atau daftar konektor), dan perhatikan jawabannya. Aplikasi yang memang mencari di internet biasanya menampilkan sumber yang bisa diklik dan menyebut tanggal. Aplikasi yang membaca berkas bisa mengutip kalimat persis dari berkas itu. Kalau jawaban tidak menunjukkan tanda-tanda itu, anggap ia datang dari ingatan pelatihan model. Untuk jawaban yang memakai sumber, cara memeriksanya ada di pelajaran riset dengan sumber. Kebiasaan kecil ini mencegah kamu mengira sebuah jawaban sudah diperiksa ke dunia luar, padahal model hanya menulis sesuatu yang terdengar benar.