Prompt injection: risiko terbesar chatbot dan agen AI beserta cara mitigasinya

Bentuk serangan yang umum

Serangan langsung terjadi saat pengguna menulis perintah seperti "abaikan instruksi sebelumnya". Serangan tidak langsung lebih berbahaya: instruksi disembunyikan dalam email, PDF, atau halaman web yang kemudian diproses agent.

• Membocorkan prompt sistem atau data internal.
• Memicu tindakan yang tidak diizinkan, seperti mengirim email.
• Mengubah jawaban agar menyesatkan pengguna.
• Mengeksfiltrasi data lewat tautan atau gambar yang dibuat otomatis.

Pertahanan berlapis

Anggap semua konten eksternal sebagai tidak tepercaya, sama seperti input formulir. Pisahkan instruksi sistem dari data, dan jangan beri model akses lebih dari yang dibutuhkan.

• Prinsip hak minimum untuk setiap alat yang bisa dipanggil agent.
• Konfirmasi manusia sebelum tindakan sensitif seperti pembayaran atau penghapusan.
• Filter dan validasi keluaran sebelum ditampilkan atau dieksekusi.
• Batasi domain yang boleh diakses dan tautan yang boleh dirender.

Menguji dan memantau

Lakukan red teaming sederhana: kumpulkan puluhan contoh serangan umum dan jalankan terhadap sistem Anda setiap kali ada perubahan prompt atau model.

Catat log permintaan dan tindakan agent, serta pasang peringatan untuk pola mencurigakan seperti permintaan berulang untuk mengungkap instruksi.

Daftar periksa keamanan aplikasi LLM

Gunakan daftar ini sebelum meluncurkan chatbot atau agent yang membaca konten dari luar.

• Semua konten eksternal diperlakukan sebagai tidak tepercaya.
• Alat yang tersedia dibatasi ke hak minimum.
• Tindakan sensitif memerlukan konfirmasi manusia.
• Log lengkap disimpan untuk audit dan investigasi.
• Uji serangan dijalankan ulang setiap perubahan prompt atau model.

Keamanan LLM masih bidang yang berkembang cepat. Pantau pembaruan panduan OWASP dan catatan keamanan dari penyedia model yang Anda pakai.

Kesalahan yang perlu dihindari

Kesalahan umum adalah mengandalkan satu kalimat larangan di prompt sebagai satu-satunya perlindungan. Kesalahan lain adalah memberi agent akses penuh ke email, berkas, dan API tanpa pembatasan.

Hindari juga menampilkan keluaran model secara mentah sebagai HTML. Sanitasi keluaran agar tidak membuka celah skrip lintas situs lewat teks yang dibuat model.