Memperbaiki hasil lewat beberapa putaran

Jawaban pertama dari AI jarang langsung pas, dan itu wajar. Rekan baru pun jarang tepat di percobaan pertama. Yang membedakan orang yang cepat selesai dengan orang yang berputar-putar adalah cara memperbaikinya.

Langkah pertama adalah mendiagnosis, bukan mengulang. Sebelum menulis apa pun, tanyakan: bagian daftar periksa (checklist) mana yang membuat jawaban ini meleset? Gejalanya biasanya menunjuk ke satu bagian. Kalau isinya benar tetapi fokusnya salah, Tujuan belum jelas. Kalau bahasanya terlalu teknis atau terlalu dangkal, Pembaca belum disebut. Kalau ada fakta yang tidak kamu kenal, Bahan kurang atau model tidak dilarang menambah dari luar. Kalau terlalu panjang atau nadanya salah, Batas belum tegas. Kalau kamu harus menyusun ulang hasilnya, Bentuk belum disebut. Kalau kamu tidak tahu bagian mana yang harus dicek, Cek terlewat.

Langkah kedua adalah memberi umpan balik yang spesifik. "Kurang bagus, coba lagi" hampir selalu menghasilkan versi lain dengan masalah yang sama, karena model tidak tahu apa yang salah. Umpan balik yang berguna punya tiga bagian: apa yang salah, apa yang harus dipertahankan, dan apa yang harus diubah. Misalnya: "Terlalu panjang dan terlalu resmi. Pertahankan tiga langkah dan tanggal berlakunya. Ubah menjadi paling banyak 120 kata dengan sapaan 'Halo tim'." Satu putaran yang spesifik lebih berharga daripada lima putaran "coba lagi". Setelah perbaikannya berhasil, masukkan perubahan itu ke prompt (perintah atau instruksi yang kamu tulis untuk AI) aslimu, supaya lain kali kamu tidak perlu mengulang putaran yang sama.

Langkah ketiga berlaku untuk prompt yang akan kamu pakai berulang kali, misalnya untuk merangkum laporan mingguan atau mengelompokkan pertanyaan pelanggan. Sebelum mengandalkannya, uji pada 5 sampai 10 contoh nyata, termasuk beberapa yang sulit. Prompt yang bagus untuk satu contoh mudah bisa gagal pada contoh yang berantakan. Kalau ada yang meleset, perbaiki promptnya, lalu jalankan lagi semua contoh, termasuk yang tadi sudah lolos.

Kalau percakapan sudah sangat panjang dan putaran baru malah memperburuk hasil, mulailah percakapan baru dengan permintaan yang sudah diperbaiki. Alasannya ada di pelajaran tentang token (potongan kata yang dihitung dan dibaca model) dan jendela konteks (context window).

Kumpulan 5 sampai 10 contoh itu kita sebut set uji (test set). Kegiatan menjalankannya dan menilai hasilnya disebut evaluasi (eval). Kedengarannya teknis, tetapi untuk pekerjaan kantor caranya sederhana.

Pilih contohnya dengan sengaja. Ambil dua atau tiga yang paling biasa, lalu tambahkan yang sulit: yang sangat panjang, yang hampir kosong, yang bahasanya campur, yang memuat dua permintaan sekaligus, dan yang dulu pernah membuat hasilnya salah. Samarkan data pribadinya. Simpan semuanya di satu tempat supaya bisa dipakai lagi.

Tulis dulu apa arti "hasil yang baik" sebelum menjalankan prompt, dalam tiga sampai lima kalimat yang bisa dijawab ya atau tidak. Misalnya: semua angka berasal dari bahan, tidak lebih dari 150 kata, setiap keluhan masuk satu kelompok, celah ditulis "tidak disebut". Kalau ukurannya baru dipikirkan setelah melihat hasil, kamu cenderung memaafkan hasil yang kelihatan rapi.

Ubah satu hal per putaran. Kalau kamu mengubah tujuan, batas, dan bentuk sekaligus, kamu tidak tahu perubahan mana yang menolong. Catat versi prompt dan hasilnya di dokumen sederhana.

Ingat juga bahwa prompt yang sama bisa memberi jawaban berbeda setiap kali dijalankan, seperti dijelaskan di pelajaran Jawaban yang berubah. Untuk contoh yang penting, jalankan dua kali. Kalau hasilnya berbeda jauh, promptnya belum cukup jelas.