Memeriksa keluaran sebelum dipakai

Hampir tidak ada yang punya waktu memeriksa setiap kata dari setiap keluaran AI. Kabar baiknya, kamu tidak perlu. Yang perlu adalah urutan: periksa dulu bagian yang paling merugikan bila salah, lalu turun ke bagian yang lebih ringan sampai waktumu atau risikonya habis.

Urutan yang kami pakai ada empat lapis.

Lapis pertama, hal yang mengikat: angka uang, jumlah, tanggal, tenggat, dan janji. "Harga termasuk pajak", "kami kirim paling lambat Jumat", "diskon berlaku untuk semua cabang". Kalimat seperti ini bisa menjadi kewajiban begitu terkirim. Satu angka yang salah di surat penawaran lebih mahal daripada sepuluh kalimat yang canggung.

Lapis kedua, nama dan rujukan: nama orang, jabatan, nama perusahaan, nomor dokumen, judul aturan, tautan, kutipan. Salah sebut nama klien membuat pembaca berhenti percaya pada sisa tulisan. Rujukan yang dikarang membuat kamu terlihat tidak memeriksa.

Lapis ketiga, fakta tentang dunia: "aturan ini mulai berlaku tahun ...", "pasar tumbuh sekian persen", "kebanyakan pelanggan lebih suka ...". Di sinilah halusinasi (hallucination) paling sering bersembunyi: terdengar wajar padahal tidak punya dasar.

Lapis keempat, alur dan nada: apakah urutannya masuk akal, apakah sopan, apakah sesuai pembacanya. Penting, tetapi kesalahan di sini jarang merugikan sebesar tiga lapis di atasnya, dan biasanya langsung terlihat saat kamu membaca.

Ada satu hal yang mudah terlewat di semua lapis: yang tidak ada. Model bisa menghilangkan syarat penting dari kontrak yang ia ringkas, atau lupa satu pengecualian dari kebijakan. Saat memeriksa ringkasan, tanyakan juga "apa yang seharusnya ada di sini tetapi tidak muncul?".

Untuk angka penting, membaca ulang saja tidak cukup. Cara menghitung ulang angka dengan cara lain dibahas di pelajaran "Cek angka dan ukur hasil" pada modul Hasilkan kerja nyata. Di sini cukup ingat bahwa angka selalu masuk lapis pertama.

AI bisa membantu memeriksa, asal perannya jelas: ia membantu menemukan apa yang perlu dicek, bukan memutuskan apa yang benar.

Caranya, minta model membuat daftar klaim. Klaim adalah setiap kalimat yang bisa benar atau salah: angka, nama, tanggal, sebab dan akibat, janji. Untuk setiap klaim, minta ia menuliskan jenisnya, letaknya di teks, apakah klaim itu berasal dari bahan yang kamu berikan atau tidak, dan seberapa merugikan bila salah. Daftar seperti ini berguna karena manusia mudah melewatkan klaim yang terselip di kalimat panjang, sementara model cukup rajin memecah teks menjadi bagian kecil.

Dua hal membuat daftar ini lebih jujur. Pertama, jalankan di percakapan baru, bukan di percakapan yang menulis drafnya. Model cenderung membela tulisannya sendiri. Kedua, jangan minta model menyatakan klaim itu "benar" atau "terverifikasi". Minta ia hanya menandai dan memberi tingkat risikonya. Pencocokan ke sumber tetap kamu lakukan, dimulai dari klaim berisiko tinggi.

Ini juga bentuk evaluasi (eval) kecil: kamu menguji keluaran dengan cara yang terstruktur, bukan dengan perasaan "kelihatannya sudah benar".