Kenapa model mengarang

Halusinasi (hallucination) adalah sebutan untuk jawaban AI yang lancar dan yakin, tetapi tidak berdasar: nomor pasal yang tidak ada, judul buku yang tidak pernah terbit, angka yang tidak pernah diukur siapa pun. Kata ini terdengar seperti gangguan sesekali. Kenyataannya, halusinasi adalah akibat langsung dari cara model bekerja.

Ingat lagi pelajaran tentang penebak teks. Saat menjawab, model menyusun teks satu token (potongan kata yang dihitung dan dibaca model) demi satu. Di setiap langkah ada banyak kelanjutan yang masuk akal, dan model memilih salah satu kelanjutan yang mungkin. Tidak ada langkah tersendiri di dalamnya yang bertanya "apakah ini benar?" atau "apakah saya tahu ini dari sumber?". Kalau pola dari pelatihan model kuat, misalnya untuk fakta yang ditulis ribuan kali di banyak tempat, kelanjutan yang dipilih biasanya benar. Kalau polanya lemah, model tetap menulis, karena menulis adalah satu-satunya hal yang ia lakukan.

Ada satu dorongan lagi. Setelah pelatihan awal, model dilatih lanjut supaya menjadi asisten yang membantu. Jawaban yang lengkap dan percaya diri cenderung dinilai lebih membantu daripada "saya tidak tahu". Hasilnya, tanpa diminta, model jarang mengaku tidak tahu.

Contoh yang kami pakai di seluruh kursus ini: seseorang bertanya pasal mana yang mengatur cuti melahirkan dan berapa lamanya. Model menjawab dengan nomor pasal dari undang-undang ketenagakerjaan tahun 2003, lama cuti satu setengah bulan sebelum dan satu setengah bulan sesudah melahirkan, menambahkan syarat "hanya untuk karyawan tetap", lalu menyebut semuanya "aturan yang berlaku saat ini". Sebagian jawaban itu memang ada di teks lama. Syarat karyawan tetap tidak ada di teks itu: itu karangan. Dan sejak 2024 ada undang-undang yang lebih baru tentang kesejahteraan ibu dan anak, yang mengatur cuti melahirkan bagi ibu yang bekerja paling singkat tiga bulan, dan bisa sampai enam bulan dalam kondisi khusus. Model tidak berbohong, karena berbohong butuh niat. Aturan lama ditulis dan dibahas selama sekitar dua puluh tahun, jadi polanya lebih kuat di data pelatihan daripada aturan baru, yang bahkan bisa terbit sesudah batas pengetahuan (knowledge cutoff) model. Ia menulis bentuk jawaban hukum yang sangat ia kenal, lalu mengisi bagian yang tidak ia ketahui dengan pola yang paling mirip.

Itulah kenapa kelancaran bukan tanda kebenaran. Jawaban yang dikarang dan jawaban yang benar ditulis dengan nada dan rapi yang sama. Kamu tidak bisa membedakannya dari gaya bahasanya, hanya dari sumbernya.

Tidak semua pertanyaan sama rawannya. Karangan paling sering muncul pada enam jenis pertanyaan.

Pertama, detail yang sangat spesifik: nomor pasal, nomor putusan, angka statistik, tanggal persis, harga. Bentuknya mudah ditiru, isinya sulit diingat. Kedua, nama orang, lembaga kecil, atau produk yang jarang dibahas. Model punya sedikit contoh tentang mereka, jadi ia mencampur ciri dari nama yang mirip. Ketiga, kutipan dan rujukan: "siapa yang pernah berkata ...", "sebutkan lima penelitian tentang ...". Model bisa membuat judul, penulis, dan tahun yang terdengar sangat akademis. Keempat, kejadian baru. Pengetahuan model berhenti di batas pengetahuannya, jadi peraturan, harga, atau berita setelah itu tidak ia ketahui. Kelima, urusan internal: kebijakan kantormu, nama klienmu, keputusan rapat minggu lalu. Semua itu tidak pernah ada di data pelatihannya. Keenam, pertanyaan yang premisnya salah, misalnya "kenapa aturan itu dicabut tahun lalu?" padahal aturannya tidak pernah dicabut. Model cenderung mengikuti arah pertanyaan dan menjelaskan pencabutan yang tidak pernah terjadi.

Sebaliknya, risiko karangan paling kecil saat model mengolah bahan yang ada di depannya: meringkas teks yang kamu tempel, mengubah nada, menyusun ulang, menerjemahkan. Bukan berarti nol, karena model tetap bisa salah membaca atau menambah sesuatu, tetapi kamu punya bahan untuk mencocokkannya.

Contoh tadi menunjukkan satu pemeriksaan yang sering terlewat. Ada dua pertanyaan yang perlu dijawab: "apakah pasal ini ada?" dan "apakah ini masih aturan yang terbaru tentang hal ini?". Kutipan yang benar dari undang-undang lama tetap bisa menyesatkan kalau sudah ada aturan baru tentang hal yang sama, dan model bisa saja mengutip aturan lama karena polanya paling kuat di data pelatihannya.

Tiga langkah sederhana:

1. Ambil teks dari basis data (database) peraturan resmi, bukan dari ingatan model atau ringkasan di blog.
2. Lihat status peraturan itu di sana. Basis data resmi biasanya mencatat apakah sebuah peraturan sudah diubah atau dicabut, dan oleh peraturan apa.
3. Cari juga peraturan yang lebih baru tentang topik yang sama. Aturan baru bisa mengatur hal yang sama tanpa mencabut aturan lama, jadi status "berlaku" pada aturan lama belum menjawab semuanya. Dalam contoh cuti melahirkan, undang-undang tahun 2024 mengatur lama cuti yang berbeda dari teks tahun 2003.

Bagaimana dua aturan dibaca bersama untuk kasus seorang karyawan adalah pertanyaan untuk bagian SDM atau penasihat hukum, bukan untuk model dan bukan untuk kursus ini. Tugasmu sebagai pemakai AI lebih sederhana: jangan berhenti di jawaban pertama, dan jangan meneruskan sebuah aturan ke orang lain sebelum kamu tahu aturan itu masih yang terbaru.