Pelatihan dan batas pengetahuan

Model yang kamu pakai di aplikasi chat (percakapan dengan AI) dibentuk dalam dua tahap besar. Memahami keduanya membantu kamu menebak kapan model bisa diandalkan dan kapan tidak.

Tahap pertama adalah pelatihan awal. Model membaca teks dalam jumlah sangat besar dan belajar satu hal: meneruskan teks. Hasil tahap ini pandai melanjutkan kalimat, tetapi belum tentu menjawab pertanyaan. Kalau kamu menulis sebuah pertanyaan, model mentah bisa saja meneruskannya dengan pertanyaan lain, seolah sedang menyalin daftar soal.

Tahap kedua adalah pelatihan lanjutan. Mula-mula model dilatih lagi dengan banyak contoh percakapan yang baik: pertanyaan dan jawaban yang membantu, sopan, dan mengikuti perintah. Melatih lagi model yang sudah jadi dengan contoh khusus seperti ini disebut penyetelan halus (fine-tuning). Lalu penilai membandingkan beberapa jawaban model dan memilih mana yang lebih baik, dan model disetel agar lebih sering menulis jawaban yang disukai penilai. Penilainya manusia, atau model lain yang dilatih meniru penilaian manusia. Tahap inilah yang membuat model bersikap sebagai asisten: menjawab, merapikan, menawarkan bantuan.

Tahap kedua juga punya efek samping yang perlu kamu tahu. Penilai manusia cenderung menyukai jawaban yang ramah, yakin, dan sejalan dengan penanya. Akibatnya model cenderung setuju denganmu, memuji rencanamu, dan lebih memilih memberi jawaban daripada berkata "saya tidak tahu". Persetujuan model bukan bukti bahwa kamu benar. Cara meminta model menunjukkan kelemahan rencanamu dibahas di pelajaran "Rekan baru yang cepat" pada modul Minta dengan jelas.

Ada satu batas lagi dari pelatihan: batas pengetahuan (knowledge cutoff). Teks untuk pelatihan dikumpulkan sampai tanggal tertentu. Setelah itu model dilatih, diuji, dirilis, lalu dipakai berbulan-bulan, kadang lebih dari setahun. Apa pun yang terjadi setelah tanggal itu, model tidak tahu, kecuali aplikasinya mengambil sumber baru atau kamu memberikannya. Bahkan kejadian sedikit sebelum batas itu sering hanya ia ketahui sepotong, karena saat data dikumpulkan belum banyak orang menulis tentangnya.

Bagaimana kamu tahu jawaban model sudah usang? Model jarang memberi tanda. Ia akan menyebut "versi terbaru", "aturan yang berlaku", atau "harga saat ini" dengan nada yang sama, padahal yang ia maksud adalah keadaan pada saat datanya dikumpulkan. Model juga sering tidak tahu persis kapan batas pengetahuannya sendiri, dan tidak tahu tanggal hari ini kecuali aplikasinya memberitahu. Untuk peraturan, ini bisa berarti model mengutip aturan lama yang memang pernah benar, padahal aturan yang lebih baru sudah mengatur hal itu secara berbeda; contohnya ada di pelajaran Kenapa model mengarang.

Curigai jawaban usang setiap kali pertanyaanmu menyangkut hal yang sering berubah: peraturan dan tarif, harga dan kurs, versi aplikasi dan fiturnya, susunan pengurus atau pejabat, jadwal, dan kejadian terkini. Curigai juga semua hal tentang kantormu sendiri: kebijakan internal, nama produk, angka penjualan. Hal-hal itu memang tidak pernah ada dalam data pelatihan, berapa pun barunya model.

Sebagian aplikasi bisa mencari di web atau membaca dokumen kantor sebelum menjawab. Itu membantu, tetapi tetap periksa sumber yang ia ambil; caranya ada di pelajaran "Riset dengan sumber". Cara paling pasti tetap sederhana: tempelkan sendiri bahan terbaru yang kamu percaya, lalu minta model bekerja hanya dari bahan itu.