Token dan jendela konteks

Model bahasa tidak membaca huruf demi huruf atau kata demi kata seperti kita. Ia membaca dan menulis dalam potongan teks yang disebut token (potongan kata yang dihitung dan dibaca model). Satu token bisa berupa satu kata pendek, sebagian kata, tanda baca, atau spasi dengan beberapa huruf. Kata yang sering muncul biasanya cukup satu token; kata yang panjang atau jarang dipecah menjadi beberapa.

Sebagai gambaran kasar: satu halaman teks biasa, sekitar 500 kata, kira-kira setara dengan beberapa ratus sampai sekitar seribu token. Angka pastinya tergantung bahasa dan model. Teks bahasa Indonesia biasanya memakan lebih banyak token daripada teks bahasa Inggris dengan isi yang sama, karena banyak pemecah token dibuat dengan lebih banyak contoh bahasa Inggris, dan kata kita sering panjang dengan imbuhan seperti "memper-" dan "-kan". Jadi dokumen yang sama bisa lebih mahal dan lebih cepat memenuhi batas kalau ditulis dalam bahasa Indonesia.

Kenapa ini penting? Karena hampir semua batas dan biaya dihitung dalam token. Layanan berbayar menghitung token yang masuk (prompt, bahan, riwayat percakapan) dan token yang keluar (jawaban). Aplikasi chat (percakapan dengan AI) yang tidak menagih per token pun tetap punya batas pemakaian yang dihitung dengan cara serupa.

Batas yang paling terasa adalah jendela konteks (context window): jumlah token yang bisa dilihat model sekaligus dalam satu kali kerja. Pertanyaan terakhirmu hanya sebagian kecil isinya. Instruksi tetap, seluruh riwayat percakapan, berkas yang kamu tempel, dan jawaban yang sedang ditulis semuanya ikut masuk. Kalau percakapan terus memanjang, jendela itu lama-lama penuh.

Saat penuh, aplikasi harus memilih. Ada yang membuang bagian paling awal. Ada yang meringkas percakapan lama menjadi catatan pendek, sehingga detailnya hilang. Dan bahkan sebelum penuh, model cenderung kurang teliti terhadap bagian tengah teks yang sangat panjang: awal dan akhir lebih diperhatikan, bagian tengah lebih mudah terlewat. Jadi yang hilang bisa instruksi di awal, keputusan di tengah, atau bab tengah sebuah laporan.

Selain jendela konteks, ada batas keluaran: jumlah token terbanyak yang boleh ditulis model dalam satu jawaban. Batas ini kebanyakan diatur oleh aplikasi atau oleh pengaturan layanan yang dipakai pengembang, bukan oleh permintaanmu. Menulis "jawab sepanjang mungkin" tidak menembus batas itu. Kalau batasnya terlalu kecil, jawaban berhenti di tengah kalimat atau tabel terpotong di baris tengah, sering tanpa pesan error (galat).

Model penalaran (reasoning model) membuat masalah ini lebih licin. Model jenis ini menulis langkah berpikir lebih dulu sebelum jawaban, dan token berpikir itu biasanya dihitung dari batas keluaran yang sama. Kalau batasnya sempit, token habis untuk berpikir dan jawabannya kembali kosong. Kalau kamu memakai alat yang memungkinkan mengatur batas ini, jangan pasang angka yang terlalu hemat. Kalau kamu hanya memakai aplikasi chat, cukup pecah tugas besar menjadi beberapa bagian dan minta lanjutan dengan jelas.