Golden set: cara membangun kumpulan uji untuk mengukur kualitas AI Anda

Menyusun golden set

Ambil contoh dari percakapan atau tugas nyata, bukan karangan. Pastikan mencakup kasus umum, kasus sulit, dan kasus yang seharusnya ditolak.

• Sekitar 70 persen kasus umum yang sering muncul.
• Sekitar 20 persen kasus tepi dan pertanyaan ambigu.
• Sekitar 10 persen kasus yang harus ditolak atau dialihkan.
• Label jawaban benar oleh orang yang paham domainnya.

Cara menilai hasil

Untuk jawaban pasti, seperti ekstraksi data, bandingkan langsung dengan kunci. Untuk jawaban bebas, gunakan rubrik penilaian dengan skala 1 sampai 5 atau penilai berbasis model yang dikalibrasi terhadap penilaian manusia.

Catat skor per kategori, bukan hanya rata-rata. Rata-rata baik bisa menyembunyikan kegagalan di kasus penting.

Menjadikannya rutinitas

Jalankan evaluasi otomatis di pipeline setiap kali prompt atau model berubah, dan tolak perubahan yang menurunkan skor melewati ambang tertentu.

Tambahkan kasus baru dari kegagalan di produksi. Dalam enam bulan, golden set Anda menjadi aset yang mencerminkan kebutuhan nyata pengguna.

Contoh tabel ringkasan hasil evaluasi

Sajikan hasil evaluasi dalam bentuk ringkas agar mudah dibandingkan antarversi. Contoh pelaporan per kategori:

• Pertanyaan umum: skor 92 persen.
• Kasus tepi: skor 78 persen.
• Kasus yang harus ditolak: skor 85 persen.
• Rata-rata keseluruhan: 88 persen, ambang rilis 85 persen.

Angka ini hanya ilustrasi. Yang penting adalah konsistensi pengukuran, sehingga setiap perubahan dapat dinilai dengan ukuran yang sama.

Kesalahan yang perlu dihindari

Kesalahan paling umum adalah membuat contoh uji dari karangan yang terlalu mudah. Kesalahan lain adalah mengubah prompt berulang kali tanpa menjalankan ulang evaluasi.

Hindari juga hanya melihat rata-rata skor. Kegagalan pada kategori penting, seperti pertanyaan hukum atau harga, bisa tersembunyi di balik rata-rata yang tinggi.