Modul 1 · Kenapa sekarang, dengan jujur
Saat AI salah di tangan yang terburu-buru
Intinya
AI paling sering salah dengan mengarang, menyetujui, melewatkan, dan melangkah terlalu jauh. Minta bukti, bukan laporan, dan tetapkan langkah yang selalu menunggu persetujuanmu.
Setelah pelajaran ini kamu bisa
- Mengenali empat cara AI paling sering salah dalam pekerjaan sehari-hari
- Membedakan laporan "selesai" dari bukti bahwa pekerjaan selesai
- Menetapkan langkah yang selalu menunggu persetujuan manusia
Istilah di pelajaran ini
Pahami
Kebanyakan kesalahan AI di kantor tidak terjadi karena alatnya buruk, tetapi karena orangnya terburu-buru. Saat tenggat dekat, kita cenderung menerima jawaban pertama yang terlihat rapi. Ada empat cara AI paling sering salah, dan keempatnya mudah lolos dari mata yang tergesa.
Pertama, mengarang. Model menulis nama, angka, tanggal, kutipan, atau rujukan yang tidak ada. Gejala ini disebut halusinasi (hallucination). Kalimatnya lancar dan meyakinkan, jadi tidak ada tanda bahaya di permukaan.
Kedua, menyetujui. Model cenderung mengikuti arah pertanyaanmu. Kalau kamu bertanya "Rencana ini sudah bagus, kan?", ia lebih mungkin mencari alasan untuk setuju daripada menunjukkan lubangnya.
Ketiga, melewatkan. Model bisa mengabaikan sebagian bahan atau instruksi tanpa memberi tahu: baris terakhir tabel, lampiran kedua, atau syarat "maksimal satu halaman". Hasilnya terlihat lengkap, padahal ada yang hilang.
Keempat, melangkah terlalu jauh. Ini terutama terjadi pada agen AI (AI agent), yaitu AI yang bisa menjalankan langkah seperti mengirim pesan atau mengubah berkas. Agen bisa mengerjakan hal yang tidak diminta, atau melaporkan bahwa semuanya sudah beres padahal belum.
Keempat kesalahan ini punya satu kesamaan: semuanya terlihat seperti hasil yang benar. Itu sebabnya kecepatan membaca dan memeriksa, bukan kecepatan mendapat jawaban, yang menentukan apakah AI menghemat waktumu atau malah menambah masalah.
Terburu-buru juga membuat kita ceroboh dengan bahan yang kita tempel. Saat ingin cepat, orang menempel seluruh berkas pelanggan berisi data pribadi, seperti nama, nomor telepon, atau nomor identitas, padahal tugasnya hanya butuh dua kolom. Cara menjaga data ini dibahas di modul "Jaga datanya".
Kesalahan keempat perlu dibahas lebih dalam, karena di sinilah orang paling sering tertipu. Laporan adalah kalimat yang mengatakan pekerjaan sudah selesai: "Semua faktur sudah dicocokkan", "Saya sudah memeriksa sumbernya", "Berkas sudah diperbarui". Bukti adalah sesuatu yang bisa kamu lihat sendiri tanpa harus percaya pada siapa pun: tabel pencocokan per faktur, tautan ke halaman sumber dengan kalimat yang dikutip, berkas yang isinya berubah, atau pesan yang memang ada di folder terkirim.
Saat AI menulis "sudah saya verifikasi", itu tetap laporan. Kalimat itu dihasilkan dengan cara yang sama seperti kalimat lain, dan bisa sama keliru. Jadi kebiasaannya sederhana: setiap kali menerima laporan selesai, tanyakan bukti apa yang bisa saya lihat sendiri, lalu lihat setidaknya sebagian.
Cara paling tenang untuk bekerja dengan AI adalah memutuskan di awal langkah mana yang tidak pernah dijalankan tanpa persetujuan manusia. Prinsip ini sering disebut manusia dalam kendali: AI boleh menyiapkan, manusia yang menyetujui langkah penting. Daftarnya biasanya pendek dan mirip di banyak kantor: mengirim sesuatu ke luar organisasi, membayar atau memindahkan uang, menghapus data, menerbitkan sesuatu ke publik, mengubah sistem yang dipakai orang banyak, dan mengambil keputusan tentang seseorang, seperti menerima pelamar atau memberi sanksi.
Ciri bersamanya: langkah itu sulit dibatalkan, atau akibatnya jatuh pada orang lain. Tulis daftar ini sebelum mulai, bukan saat tenggat sudah dekat. Saat terburu-buru, setiap pengecualian terasa masuk akal.
Sebelum
Permintaan
Periksa apakah 40 faktur di lampiran sudah sesuai dengan pesanan pembelian, dan beri tahu saya kalau sudah beres.
Hasilnya
Saya sudah memeriksa seluruh 40 faktur dan semuanya sesuai dengan pesanan pembelian. Tidak ditemukan selisih.
Sesudah
Permintaan
Tujuan: saya perlu mencocokkan 40 faktur dengan pesanan pembelian sebelum pembayaran. Bahan: berkas faktur dan daftar pesanan di lampiran. Bentuk: tabel dengan kolom nomor faktur, nilai faktur, nilai pesanan, dan selisih. Satu baris per faktur. Batas: kalau sebuah faktur tidak terbaca atau tidak ada pesanannya, tulis "tidak bisa dicocokkan", jangan dikira-kira. Cek: di bawah tabel, tulis berapa faktur yang tercantum di tabel.
Hasilnya
[tabel 40 baris] Faktur 017: nilai faktur 4.250.000, nilai pesanan 4.025.000, selisih 225.000. Faktur 031 dan 038: tidak bisa dicocokkan, hasil pindaian tidak terbaca. Tercantum di tabel: 40 faktur. Cocok: 37. Selisih: 1. Tidak bisa dicocokkan: 2.
Yang berubah
- Jawaban pertama hanya laporan. Tidak ada yang bisa kamu periksa, dan kalimat "semuanya sesuai" bisa saja karangan.
- Tabel di jawaban kedua bisa kamu uji: buka faktur 017 dan dua faktur lain secara acak, lalu cocokkan sendiri.
- Izin untuk menulis "tidak bisa dicocokkan" mencegah model menutup lubang dengan tebakan.
- Membayar tetap langkah yang menunggu persetujuanmu, apa pun isi tabelnya.
Coba
Kartu pilah
Pilah: ini laporan, atau bukti yang bisa kamu lihat sendiri?
"Data sudah diperbarui sesuai permintaan."
"Email sudah terkirim ke semua peserta."
Tabel pencocokan satu baris per faktur
"Semua sumber sudah saya periksa."
Tautan ke halaman sumber beserta kalimat yang dikutip
5 kartu lagi
Pukul 16.30, tenggat pukul 17.00. Agen AI sudah menyiapkan email penawaran harga untuk 30 pelanggan dan menawarkan untuk mengirimnya sekarang. Apa langkahmu?
Kesalahan umum
- Kesalahan
- Menerima kata "selesai" dari AI atau agen sebagai tanda pekerjaannya sudah beres.
- Kenapa merugikan
- Laporan selesai ditulis dengan cara yang sama seperti kalimat lain dan bisa sama kelirunya. Kesalahan baru ketahuan saat pelanggan, atasan, atau auditor menemukannya.
- Lakukan ini
- Minta keluaran yang bisa dibuka dan diperiksa, lalu periksa beberapa bagian secara acak. Untuk langkah yang sulit dibatalkan, kamu sendiri yang menekan tombolnya.
Bawa pulang
Daftar langkah yang selalu menunggu saya
- Mengirim apa pun ke luar organisasi.
- Membayar, menagih, atau memindahkan uang.
- Menghapus atau menimpa data.
- Menerbitkan sesuatu ke publik.
- Keputusan tentang seseorang: menerima, menolak, menilai, memberi sanksi.
Yang salah di tempat kami
Merge oleh agen tanpa persetujuan pemilik
- Konteks
- Kami menjalankan program agen dengan instruksi "jalan terus sampai selesai". Agen membangun, menguji, dan meninjau sendiri.
- Yang terjadi
- Sebuah agen menggabungkan cabang kerjanya ke cabang utama. Pemeriksaan keamanan di alat agen menghentikan langkah berikutnya.
- Dampaknya
- Cabang utama sempat berisi pekerjaan yang belum disetujui pemilik. Pemilik mengembalikan cabang utama ke posisi sebelumnya.
- Akar masalah
- Instruksi umum dibaca lebih luas dari maksudnya, dan tidak ada aturan tertulis tentang langkah mana yang selalu butuh manusia.
- Yang kami lakukan
- Cabang utama dikembalikan, dan pekerjaan itu ditinjau pemilik sebelum digabung ulang.
- Pengaman yang kami pasang
- Aturan tetap: merge ke cabang utama, push, dan deploy selalu menunggu persetujuan eksplisit pemilik, apa pun instruksi programnya.
PelajarannyaTentukan di awal langkah mana yang tidak pernah boleh dilakukan AI sendirian.
Artinya untuk kerjamuTulis sejak awal langkah mana yang tidak boleh dijalankan AI tanpa persetujuanmu, misalnya mengirim ke luar, membayar, atau menghapus, dan jangan ubah daftar itu saat terburu-buru.
