Modul 4 · Periksa sebelum percaya
Rutinitas periksa kita
Intinya
Laporan "sudah selesai" dari AI belum menjadi bukti. Rutinitas kita menjawab tiga hal: siapa memeriksa, bukti apa yang dicari, dan kapan boleh berhenti. Makin besar risikonya, makin banyak bukti yang dikumpulkan dan makin perlu mata kedua.
Setelah pelajaran ini kamu bisa
- Menjalankan rutinitas periksa kita: siapa memeriksa, bukti apa yang dicari, kapan berhenti
- Menyesuaikan ketelitian pengecekan dengan besar risikonya
Istilah di pelajaran ini
Pahami
Di tim kami, memeriksa hasil AI adalah kebiasaan, apalagi sejak AI ikut mengerjakan, tidak cuma menulis. Pelajaran sebelumnya menunjukkan apa yang diperiksa di satu keluaran. Di sini kita menyusunnya menjadi rutinitas.
Makin sering kamu memakai agen AI (AI agent), yaitu AI yang menjalankan langkah sendiri seperti mengubah berkas, mengisi data, atau mengirim pesan, makin sering kamu menerima laporan seperti "sudah selesai, 40 data diperbarui, tanpa kendala". Model menulis laporan itu dengan cara yang sama seperti jawaban lain: sebagai kelanjutan teks yang masuk akal. Kalau satu langkah gagal tanpa pesan apa pun, laporannya tetap bisa berbunyi "selesai". Inilah halusinasi (hallucination) yang paling mudah lolos, karena kita memang ingin pekerjaannya selesai.
Pegangan kita: yang dihitung adalah bukti yang bisa kamu buka sendiri. Laporan "selesai" belum dihitung. Rutinitasnya menjawab tiga pertanyaan.
Siapa memeriksa? Orang yang meminta pekerjaan itu memeriksa hasilnya sendiri. Meminta model yang sama mengecek pekerjaannya tidak dihitung sebagai pemeriksaan. Untuk hasil berisiko tinggi, tambahkan mata kedua: orang lain yang tidak ikut membuatnya. Pembuat cenderung membaca apa yang ia maksud, sedangkan orang baru membaca apa yang tertulis.
Bukti apa yang dicari? Bukti ada di tempat hasilnya berada, di luar percakapan: data yang berubah di sistemnya, berkas yang tersimpan dan bisa dibuka, email yang ada di folder terkirim, halaman yang tampil benar dari sisi orang yang memakainya. Untuk pekerjaan yang banyak, ambil contoh acak, ditambah semua butir berisiko tinggi. Dari 40 data pelanggan, misalnya, buka lima secara acak dan semua yang menyangkut tagihan. Ini evaluasi (eval) kecil yang bisa kamu ulang setiap kali.
Kapan berhenti? Saat setiap butir di daftar risikomu punya bukti. Butir yang tidak bisa dibuktikan jangan ditebak dan jangan dipoles: tandai "belum terbukti", tahan hasilnya, atau kirim dengan catatan yang jujur. Berhenti juga berarti tahu batas: rutinitas yang terlalu berat untuk hal kecil akan ditinggalkan orang.
Ketelitian harus sebanding dengan risikonya. Kami memakai tiga tingkat.
Risiko rendah: hasil untuk dirimu sendiri dan mudah diperbaiki. Catatan pribadi, draf pertama, ide judul. Baca sekali, perbaiki yang janggal, selesai.
Risiko sedang: hasil yang dibaca rekan kerja atau klien, tetapi masih bisa diralat. Laporan internal, email ke pelanggan, materi presentasi. Jalankan daftar klaim dari pelajaran sebelumnya, cocokkan semua klaim berisiko tinggi ke sumbernya, dan simpan hasil pemeriksaanmu.
Risiko tinggi: hasil yang menyangkut uang, hukum, kesehatan, keputusan tentang orang, atau yang terbit ke publik, dan yang sulit ditarik kembali. Kontrak, pengumuman resmi, data gaji, perubahan di sistem yang dipakai banyak orang. Cocokkan semua klaim, catat buktinya di tempat yang bisa dilihat orang lain, dan minta mata kedua menyetujui sebelum hasilnya dipakai. Untuk urusan hukum atau kesehatan, pilih mata kedua yang berwenang di bidangnya. Materi ini bukan nasihat hukum atau medis.
Tanda kamu salah memilih tingkat: kamu merasa lega karena "AI-nya bilang sudah dicek". Rasa lega itu tidak bisa dibuka dan diperiksa orang lain.
Sebelum
Permintaan
Perbarui harga 40 produk di katalog sesuai daftar harga baru. Kalau sudah, laporkan.
Hasilnya
Selesai! Harga 40 produk sudah diperbarui sesuai daftar harga baru. Tidak ada error selama proses.
Sesudah
Permintaan
Perbarui harga 40 produk di katalog sesuai daftar harga baru. Setelah itu, jangan hanya melaporkan selesai. Untuk setiap produk, buat baris berisi: kode produk, harga lama, harga di daftar baru, dan harga yang sekarang terbaca di katalog setelah diperbarui. Tandai "belum terbukti" untuk produk yang harganya tidak bisa dibaca ulang dari katalog, dan tandai "beda" bila harga di katalog tidak sama dengan daftar baru.
Hasilnya
37 produk: harga di katalog sama dengan daftar baru (tabel terlampir). 2 produk ditandai "beda": kode yang ada di daftar baru tertulis dengan spasi tambahan, jadi tidak cocok dengan katalog dan harganya tidak berubah. 1 produk ditandai "belum terbukti": produk ini tidak ditemukan di katalog. Ringkasnya: 37 dari 40 terbukti, 3 perlu kamu tangani.
Yang berubah
- Laporan pertama berbunyi selesai, padahal harga tiga produk tidak berubah.
- Versi yang lebih baik meminta harga yang dibaca ulang dari katalog, baris demi baris. Pernyataan selesai saja tidak cukup.
- Kategori "belum terbukti" memberi model jalan untuk jujur.
- Kamu tetap membuka katalog dan memeriksa beberapa baris acak sendiri, ditambah tiga baris yang ditandai.
Kesalahan umum
- Kesalahan
- Menerima "sudah dicek, semua aman" dari AI sebagai pemeriksaan, apalagi untuk hasil berisiko tinggi yang hanya dilihat satu orang.
- Kenapa merugikan
- Pernyataan itu hanyalah teks lain dari model yang sama. Kalau ada langkah yang gagal tanpa pesan, kamu baru tahu saat pelanggan, atasan, atau orang yang datanya terdampak menemukannya.
- Lakukan ini
- Cari bukti di tempat hasilnya berada. Untuk risiko tinggi, minta orang kedua yang tidak ikut membuat hasilnya untuk memeriksa dan menyetujui.
Coba
Kartu pilah
Pilah hasil kerja berikut ke tingkat risikonya.
Pengumuman perubahan harga di situs publik
Ringkasan rapat yang dikirim ke tim
Ide judul untuk presentasi internal
Draf pertama yang akan kamu tulis ulang sendiri
Balasan email ke pelanggan soal jadwal pengiriman
Perubahan data gaji 120 karyawan
6 kartu lagi
Agen AI melaporkan: "Undangan pelatihan sudah dikirim ke 85 peserta." Bukti mana yang paling kuat?
Bawa pulang
Minta bukti yang dibaca ulang
Bisa dipakai di asisten AI mana pun.
Prompt-mu
Setelah menyelesaikan ‹pekerjaan›, jangan hanya menulis bahwa pekerjaannya selesai. Untuk setiap butir, tunjukkan bukti yang dibaca ulang dari ‹tempat-hasil›: nilai sebelum, nilai yang diminta, dan nilai yang sekarang terbaca di sana. Tandai "belum terbukti" untuk butir yang tidak bisa dibaca ulang, dan "beda" untuk butir yang hasilnya tidak sesuai permintaan. Tutup dengan jumlah butir yang terbukti, beda, dan belum terbukti.
Yang salah di tempat kami
Flag yang tidak sampai ke layanannya
- Konteks
- Fitur baru dikendalikan oleh flag di variabel lingkungan. Berkas compose kami meneruskan daftar variabel yang ditulis eksplisit ke setiap layanan.
- Yang terjadi
- Sebuah flag baru diisi di berkas lingkungan, tetapi tidak ditambahkan ke daftar compose, jadi tidak pernah sampai ke aplikasi dan fiturnya tetap mati. Di tempat lain, impor sebuah worker mulai membaca flag AI yang tidak diteruskan kepadanya.
- Dampaknya
- Fitur bisa mati diam-diam tanpa error. Celah di worker tertangkap tes penjaga sebelum rilis.
- Akar masalah
- Mengisi berkas lingkungan tidak cukup ketika compose memakai daftar eksplisit, dan tidak ada yang tahu flag mana yang dibaca kode setiap layanan.
- Yang kami lakukan
- Flag ditambahkan ke daftar compose untuk setiap layanan yang kodenya membacanya.
- Pengaman yang kami pasang
- Sebuah tes memetakan setiap layanan ke flag yang dibaca kodenya dan gagal bila compose tidak meneruskannya.
PelajarannyaFitur yang mati diam-diam lebih berbahaya daripada fitur yang error.
Artinya untuk kerjamuLaporan "sudah diatur" belum berarti berjalan. Periksa hasilnya di tempat orang memakainya, karena yang gagal diam-diam tidak akan memberi tahu.