Daily Akamuga – Cisco AI baru saja meluncurkan FAPO, sebuah sistem optimisasi prompt otomatis yang dirancang untuk meningkatkan akurasi aplikasi pemrosesan bahasa alami berbasis model besar (LLM). FAPO, yang merupakan singkatan dari Fully Automated Prompt Optimization, hadir untuk mengatasi tantangan yang sering dihadapi dalam pengembangan aplikasi LLM, di mana perubahan kecil dalam kata-kata dapat mengakibatkan perbedaan akurasi yang signifikan, bahkan hingga 20 persen.
Sistem ini bekerja dengan cara yang inovatif. Pengguna hanya perlu menyediakan dataset dan prompt awal, sementara FAPO kemudian akan menangani evaluasi, klasifikasi kesalahan, dan pengusulan variasi secara otomatis. Sistem ini diciptakan dengan memanfaatkan Claude Code sebagai penggerak utama, melakukan siklus iteratif untuk meningkatkan tingkat akurasi hingga target yang diinginkan tercapai. Proyek ini juga dirilis sebagai sumber terbuka di bawah lisensi Apache 2.0, yang memungkinkan pengembang lain untuk memanfaatkannya.
Peningkatan Kinerja FAPO
Dalam evaluasi yang dilakukan oleh tim Cisco, FAPO menunjukkan hasil yang mengesankan, mengungguli GEPA (Generalized Evolutionary Prompt Architecture), yang merupakan metode optimisasi prompt terdepan saat ini. Dalam 18 perbandingan model benchmark, FAPO berhasil mengalahkan GEPA dalam 15 di antaranya, dengan rata-rata peningkatan sebesar 14,1 poin persentase. Pada dua benchmark di mana FAPO melakukan perubahan pada pipeline, rata-rata peningkatan yang dicapai mencapai 33,8 poin persentase.
FAPO memanfaatkan pendekatan tiga tingkat dalam optimisasi. Tahap pertama dimulai dengan perubahan pada prompt, diikuti dengan penyesuaian parameter, dan akhirnya perubahan pada struktur rantai jika diperlukan. Pendekatan ini memanfaatkan atribusi kesalahan tingkat langkah, yang memungkinkan identifikasi sumber masalah dengan lebih akurat.
Bagaimana FAPO Bekerja
Sistem FAPO beroperasi dalam enam tahap siklus. Tahap pertama adalah evaluasi, di mana sistem menjalankan rantai pada dataset yang disediakan dan mengumpulkan skor serta output tingkat langkah. Pada tahap kedua, kesalahan diklasifikasikan berdasarkan penyebab utamanya menggunakan heuristik berbasis aturan dan analisis dengan LLM.
Setelah kesalahan diidentifikasi, sistem akan mengusulkan variasi yang ditujukan pada kluster kesalahan yang dominan. Kemudian, seorang agen independen akan meninjau usulan tersebut untuk memvalidasi kepatuhan dan potensi kebocoran data. Setelah itu, variasi akan dibandingkan, dan hanya jika ada perbaikan, variasi tersebut akan diterima. Siklus ini terus diulang hingga mencapai tingkat akurasi yang diinginkan atau hingga batas anggaran optimisasi habis.
Keunggulan dan Tantangan FAPO
Keunggulan utama FAPO terletak pada kemampuannya untuk menangani berbagai tingkatan optimisasi secara terpisah dan terfokus. Proses atribusi kesalahan yang terarah memungkinkan optimisasi yang lebih efektif dan terukur. Dengan adanya fitur pengaman untuk mencegah overfitting, seperti inspeksi yang hanya dilakukan pada kasus pelatihan, FAPO memberikan jaminan kualitas yang lebih tinggi dalam hasil akhirnya.
Namun, FAPO juga menghadapi tantangan tersendiri. Kualitas optimisasi sangat bergantung pada kualitas dan cakupan dataset yang disediakan oleh pengguna. Selain itu, karena proyek ini relatif baru, rekam jejak produksi independen masih terbatas. Meskipun demikian, FAPO berhasil menciptakan langkah besar dalam dunia pemrosesan bahasa alami dengan menawarkan pendekatan yang lebih sistematis terhadap optimisasi prompt.
Kesimpulan
Dengan peluncuran FAPO, Cisco AI menawarkan solusi yang canggih untuk mengatasi tantangan dalam pengembangan aplikasi berbasis LLM. Inovasi ini tidak hanya meningkatkan akurasi tetapi juga efisiensi dalam optimisasi proses yang sebelumnya rumit dan memakan waktu. Dengan dukungan open source, FAPO berpotensi menjadi alat yang berharga bagi pengembang di seluruh dunia, mendorong evolusi lebih lanjut dalam pemrosesan bahasa alami.
