SelFee: Model Bahasa Baru untuk Peningkatan Kinerja Model Bahasa
Sebuah studi terbaru telah menyoroti efektivitas umpan balik bahasa alami dalam meningkatkan kinerja model bahasa. Sebuah tim peneliti dari KAIST telah memperkenalkan model SelFee baru yang dirancang secara eksplisit untuk umpan balik diri dan pembangkitan revisi diri. Berbeda dengan pendekatan sebelumnya, SelFee tidak memerlukan model bahasa atau tugas khusus eksternal yang signifikan untuk menghasilkan tanggapan berkualitas tinggi.
SelFee adalah model instruksi-following yang disesuaikan dengan baik berbasis LLaMA yang terus merevisi jawabannya hingga mencapai respons berkualitas tinggi dalam satu inferensi. Berdasarkan instruksi yang diberikan, model menghasilkan solusi awal dan urutan umpan balik diri. Dengan menganalisis konten umpan balik yang dihasilkan, model menentukan apakah revisi diperlukan. Jika demikian, ia menghasilkan jawaban yang direvisi berdasarkan umpan balik. Proses revisi iteratif ini selesai dalam satu inferensi, menghasilkan solusi yang lebih baik dibandingkan dengan model berbasis LLaMA yang ada.
Para peneliti mengumpulkan data instruksi yang beragam dari berbagai sumber, seperti ShareGPT, Alpaca, Math, Code, dan Flan Collection. Untuk mengatasi kelangkaan data umpan balik dan revisi, mereka meningkatkan dataset dengan menggunakan proses distilasi dari model guru yang disebut ChatGPT. Pendekatan ini memungkinkan mereka menghasilkan lebih banyak contoh umpan balik dan revisi dengan biaya yang lebih terjangkau.
Untuk melatih model, para peneliti menggunakan teknik augmentasi data dengan panggilan API OpenAI. Mereka mengumpulkan instruksi dari beberapa sumber dan memasukkannya ke dalam ChatGPT untuk menghasilkan jawaban yang sesuai. Kemudian, mereka memperoleh umpan balik tentang jawaban yang dihasilkan dengan mengajukan pertanyaan kembali ke ChatGPT. Jika revisi dianggap perlu, ChatGPT merevisi jawaban berdasarkan umpan balik yang dihasilkan sendiri. Proses ini diulang hingga tidak diperlukan modifikasi lebih lanjut.
Keunggulan SelFee
SelFee dilatih menggunakan kerangka kerja FastChat. Berdasarkan instruksi, model disesuaikan untuk menghasilkan rangkaian jawaban dan umpan balik, termasuk revisi. Para peneliti mengamati bahwa meningkatkan jumlah revisi minimal selama proses inferensi meningkatkan kualitas jawaban. Mereka menemukan bahwa minimal tiga revisi menghasilkan kinerja terbaik, dan bahkan model SelFee 7B yang menghasilkan setidaknya tiga revisi memiliki kinerja yang lebih baik daripada model SelFee 13B yang tidak memerlukan modifikasi.
Dalam hal evaluasi, para peneliti mengadopsi pengaturan evaluasi Vicuna, yang melibatkan 80 kueri yang beragam. Alih-alih melakukan evaluasi manusia, mereka melakukan evaluasi pilot menggunakan GPT-4 sebagai evaluator. Skor relatif dibandingkan dengan ChatGPT dilaporkan, dengan mempertimbangkan bias posisional GPT-4.
Meskipun SelFee menunjukkan kinerja yang sebanding dengan ChatGPT dalam pengaturan evaluasi Vicuna, ditemukan bahwa SelFee kurang memiliki pengetahuan dalam bidang seperti matematika, penalaran, faktualitas, dan pemrograman dibandingkan dengan ChatGPT.
Kesimpulan
Secara keseluruhan, SelFee memperkenalkan pendekatan baru untuk umpan balik diri dan pembangkitan revisi diri dalam model bahasa. Dengan menyempurnakan model untuk merevisi jawabannya secara terus-menerus, SelFee mencapai kinerja yang lebih baik dibandingkan dengan model yang ada. Temuan penelitian menyoroti pentingnya revisi iteratif dalam meningkatkan kualitas respons model bahasa dan menunjukkan bahwa meningkatkan komputasi inferensi dari sebuah model mungkin lebih efektif daripada sekadar meningkatkan ukurannya.
Model SelFee ini merupakan terobosan baru dalam pengembangan model bahasa yang menghasilkan jawaban yang lebih akurat dan responsif. Meski demikian, penelitian ini masih memerlukan pengembangan lebih lanjut untuk memperbaiki kekurangan model dalam bidang tertentu seperti matematika dan pemrograman.
Disarikan dari: Source