Membaca jejak agen

Setiap kali agen bekerja, ada dua hal yang ia hasilkan: laporan di akhir, dan jejak eksekusi (trace) di sepanjang jalan. Laporan adalah tulisan model tentang apa yang menurutnya sudah terjadi. Jejak adalah catatan urut tentang apa yang terjadi: setiap pesan model, setiap panggilan alat dengan masukannya, setiap hasil atau error (galat) yang kembali, dan biaya serta jumlah putarannya.

Keduanya sering cocok, tetapi tidak selalu. Model bisa melaporkan "semua tes lulus" padahal tes terakhir yang ia jalankan masih gagal, atau ia tidak menjalankannya. Model bisa menulis "saya sudah memeriksa semua berkas" padahal ia membuka tiga dari dua puluh. Ini bukan kebohongan yang disengaja; model menulis apa yang masuk akal sebagai penutup tugas. Karena itu laporan adalah klaim, dan jejak adalah bukti.

Cara membaca jejak tidak perlu rumit. Mulai dari akhir: apa klaim di laporan? Lalu cari di jejak panggilan alat yang seharusnya membuktikan klaim itu, dan baca keluarannya sendiri. Kalau laporan bilang tes lulus, cari keluaran tes terakhir. Kalau laporan bilang lima berkas diubah, hitung panggilan alat ubah berkas. Kalau buktinya tidak ada, klaimnya belum terbukti, seyakin apa pun kalimatnya.

Selain mencocokkan klaim, jejak memberi tahu tiga hal lain yang berguna:

• Putaran yang sia-sia. Pencarian yang diulang dengan kata yang sama, berkas yang dibaca dua kali, atau alat yang terus mengembalikan error yang sama. Ini tanda tujuan atau deskripsi alat perlu diperbaiki.
• Sentuhan yang tidak diminta. Berkas atau folder yang dibuka padahal tidak relevan, terutama yang berisi data pribadi atau rahasia. Ini tanda izin perlu dipersempit.
• Biaya per tugas. Jumlah putaran, token (potongan kata yang dihitung dan dibaca model) masuk dan keluar, dan perkiraan biaya, termasuk biaya subagen (subagent) yang dipanggil agen utama. Catat angka ini untuk setiap jalan; dari situlah kamu tahu apakah perubahan prompt (perintah atau instruksi yang kamu tulis untuk AI) membuat agen lebih hemat atau lebih boros.

Untuk satu jalan, membaca jejak memang terasa lambat. Tetapi kebiasaan ini yang membuatmu bisa mempercayai agen nanti. Setelah beberapa puluh jalan, kamu akan tahu pola normalnya, dan jejak yang tidak biasa langsung terlihat. Langkah berikutnya adalah evaluasi yang sistematis: set tugas uji yang dijalankan ulang setiap kali sesuatu berubah. Itu proyek di akhir fase ini.

Sebagai contoh yang dikerjakan, Claude Agent SDK untuk Python mengalirkan jejak sebagai rangkaian pesan dari query(). AssistantMessage memuat tulisan model dan permintaan alatnya; ResultMessage di akhir memuat subtype (berhasil atau jenis galatnya), num_turns, duration_ms, total_cost_usd, dan usage (token masuk, token keluar, dan token cache):

import asyncio
from claude_agent_sdk import query, ClaudeAgentOptions, AssistantMessage, ResultMessage

async def main():
    options = ClaudeAgentOptions(tools=["Read", "Glob", "Grep"], allowed_tools=["Read", "Glob", "Grep"], permission_mode="dontAsk", max_turns=12)
    async for message in query(prompt="Saya perlu daftar keputusan dengan nama berkas sumbernya.", options=options):
        if isinstance(message, AssistantMessage):
            print(message)
        if isinstance(message, ResultMessage):
            print(message.subtype, message.num_turns, message.duration_ms)
            print(message.total_cost_usd, message.usage)

asyncio.run(main())

Seperti di pelajaran sebelumnya: opsi tools hanya menyediakan tiga alat baca bawaan, allowed_tools membiarkan ketiganya berjalan tanpa bertanya, dan permission_mode="dontAsk" menolak panggilan lain yang seharusnya bertanya. Tanpa tools, dontAsk saja masih meloloskan panggilan yang tidak butuh persetujuan, seperti perintah shell baca-saja dan memulai subagen. Untuk agen yang memakai subagen, usage hanya mencakup putaran utama; baca model_usage, yang mencakup seluruh pohon panggilan.

Simpan pesan-pesan itu ke berkas log per jalan, tanpa rahasia, supaya bisa dibaca ulang dan dibandingkan. total_cost_usd adalah perkiraan dari pustaka; untuk tagihan resmi, pakai laporan penyedia. Langkah khusus Anthropic; cek versi terbaru di dokumentasinya karena nama pesan dan kolomnya bisa berubah.

Latihan untuk jalan agen berikutnya: sebelum membaca laporannya, tulis dulu tiga klaim yang kamu harapkan muncul, misalnya "tes lulus", "dua berkas diubah", "tidak ada berkas di luar folder yang disentuh". Lalu buka jejaknya dan cari bukti untuk ketiganya. Catat berapa klaim yang terbukti, berapa yang tidak ada buktinya, dan berapa yang ternyata keliru. Setelah sepuluh jalan, angka itu memberi gambaran jujur seberapa jauh laporan agenmu bisa dipercaya, dan bagian mana yang selalu perlu kamu cek sendiri.