Angka yang dikarang model

Model bahasa besar (large language model, LLM) bekerja dengan menebak kata berikutnya. Angka baginya juga kata. Saat kamu meminta "jumlahkan kolom ini", model tidak menjalankan kalkulator seperti lembar kerja (spreadsheet); ia menulis angka yang paling mungkin muncul di posisi itu. Untuk penjumlahan pendek hasilnya sering benar. Untuk tabel panjang, persentase dari persentase, atau angka dengan banyak digit, ia bisa salah satu digit, menukar urutan, atau membulatkan tanpa memberi tahu. Cara kerja ini dijelaskan di pelajaran mesin penebak teks.

Ada kesalahan yang lebih berbahaya daripada salah hitung: angka yang dikarang. Ini salah satu bentuk halusinasi (hallucination). Minta model menulis komentar laporan bulanan tanpa memberinya angka, dan ia bisa menulis "pendapatan naik 8,4% dibanding bulan lalu" dengan nada yakin. Angka itu tidak berasal dari data mana pun. Ia muncul karena kalimat komentar laporan biasanya berisi persentase seperti itu. Hal yang sama terjadi saat model diminta "melengkapi" tabel yang bolong, memperkirakan saldo, atau menyebut tarif.

Di pekerjaan keuangan, angka yang salah jarang terlihat salah. Angka itu tertulis rapi, dengan pemisah ribuan yang benar dan dua desimal. Orang membaca laporan keuangan dengan percaya karena biasanya angka di sana sudah diperiksa. Karena itu, perlakukan angka buatan model berbeda dari angka yang keluar dari sistem akuntansi: yang pertama masih dugaan, yang kedua sudah tercatat.

Penangkalnya adalah rutinitas verifikasi angka yang kamu jalankan setiap kali, termasuk saat drafnya tampak beres. Empat langkahnya:

• Hitung ulang dengan cara lain. Jumlahkan dengan rumus di lembar kerja, dengan kalkulator, atau dari laporan sistem akuntansi. Jangan meminta model yang sama menghitung ulang; cara yang sama mengulang kesalahan yang sama.
• Jumlahkan silang. Total semua baris harus sama dengan total semua kolom. Total per cabang ditambah total per produk harus sampai di angka yang sama. Kalau berbeda, ada baris terlewat atau terhitung dua kali.
• Cocokkan dengan sumber. Setiap angka di laporan harus bisa ditunjuk asalnya: laporan sistem, rekening koran, faktur, atau berkas kerja. Angka yang tidak punya asal dihapus atau ditandai.
• Uji kewajaran. Bandingkan dengan bulan lalu dan dengan perkiraan kasar. Biaya listrik yang tiba-tiba sepuluh kali lipat bisa benar, tetapi harus ada penjelasannya.

Cara menghitung ulang dan menguji rumus lembar kerja diajarkan di pelajaran mengecek angka dan lembar kerja. Di jalur ini kamu menerapkannya pada pekerjaan keuangan: rekonsiliasi, laporan, faktur.

Satu kebiasaan lagi, yang paling sederhana: tandai. Saat kamu menerima draf dari AI, misalnya komentar laporan, ringkasan faktur, atau penjelasan selisih, beri warna atau tanda pada setiap angka di dalamnya. Tanda itu baru dilepas setelah angka dicocokkan dengan sumbernya. Draf yang masih punya angka bertanda tidak dikirim ke siapa pun. Lebih baik lagi, minta model sejak awal menulis penanda seperti ‹angka› alih-alih angka, lalu isi angkanya sendiri dari sistem. Dengan begitu tidak ada angka karangan yang bisa lolos, karena setiap angka di dokumen akhir pasti melewati tanganmu dan punya sumber yang bisa kamu tunjuk saat ada yang bertanya.