Surv_ai: Framework yang Menangani Isu Keberpihakan dan Kebenaran Model Bahasa Besar
Model bahasa besar seperti ChatGPT telah digunakan setidaknya sekali. Jika Anda belum, Anda harus. Paham terhadap topik ini sangat penting. Meskipun hasil yang diberikan oleh model bahasa besar ini sepertinya sesuai, bahkan lebih baik, nyata, dan alami daripada yang diharapkan, masih ada beberapa hal yang kita lewati yang bisa sangat penting jika kita menggunakan model ini sebagai sumber kebenaran atau referensi di tempat lain.
Pertanyaan yang jelas muncul dari paragraf tersebut: apa yang salah ketika tidak terlihat ada kesalahan?
Tidak ada yang salah secara khusus, tetapi ada beberapa pertanyaan yang perlu kita tanyakan saat menggunakan model ini, atau setidaknya hasil yang dihasilkan oleh model tersebut di tempat lain, seperti:
1. Apa sumber kebenaran bagi model ini? Dari mana informasi mereka berasal? Itu harus berasal dari suatu tempat.
2. Bagaimana dengan keberpihakan? Apakah model ini berpihak? Dan, jika ya, dapatkah kita memperkirakan keberpihakan ini? Dapatkah kita melawannya?
3. Apa alternatif dari Model yang Anda gunakan, dan bagaimana jika alternatif tersebut berkinerja lebih baik dalam beberapa skenario pemeriksaan fakta?
Hal-hal inilah yang dipecahkan oleh Daniel Balsam dan timnya melalui proyek surv_ai.
Multi-Agen Large-Language Model Framework
Surv_ai adalah kerangka kerja model bahasa besar multi-agen yang dirancang untuk pemodelan multi-agen. Kerangka kerja ini memungkinkan model bahasa besar digunakan sebagai mesin untuk meningkatkan kualitas penelitian, estimasi bias, menguji hipotesis, dan melakukan analisis komparatif dengan cara yang lebih baik dan efisien, semuanya dikemas dalam satu atap.
Untuk benar-benar memahami apa yang dilakukannya, penting untuk memahami filosofi inti dari pendekatan ini. Kerangka kerja ini terinspirasi dari teknik analitik prediktif umum yang disebut bagging (bootstrap aggregating), contoh teknik ensemble klasik. Ide ini berkisar pada fakta bahwa daripada satu pembelajar lemah dengan banyak informasi, terkadang banyak pelaku lemah dengan informasi terbatas, ketika digabungkan, jauh lebih baik dan memberikan hasil bersih yang lebih berkualitas.
Demikian juga, pemodelan multi-agen melibatkan pembuatan beberapa model statistik berdasarkan tindakan banyak agen. Dalam kasus Surv_ai, model-model ini dibuat oleh agen yang menanyakan dan memproses teks dari korpus data. Agen-agen ini kemudian menguji dan menjelaskan hipotesis, dengan kata lain, apa pun yang Anda minta untuk diverifikasi atau memberikan pendapat dan menghasilkan respons yang sesuai.
Karena sifat stokastik model bahasa besar, titik data individu dapat bervariasi. Hal ini dapat dikontraskan dengan meningkatkan jumlah agen yang digunakan.
Implementasi Surv_ai
Surv_ai menggunakan dua pendekatan yang dapat dipilih pengguna berdasarkan persyaratan. Satu segmen dalam repositori yang disediakan dapat menghasilkan titik data multi-agen dan disebut Survey. Survey mengambil pernyataan sebagai input dan mengembalikan persentase agen yang setuju.
Implementasi yang lebih kompleks disebut Model, yang dapat melakukan apa yang dilakukan Survey tetapi dengan kontrol dan nuansa yang lebih banyak. Anda dapat mengontrol banyak variasi dalam parameter input dari implementasi Model dan dengan demikian dapat meningkatkan presisi hasil yang ingin Anda lihat.
Implementasi ini membantu kita membandingkan kebenaran dengan pendapat terpadu dari agen yang berbeda. Ini dapat membantu kita mencapai dan menganalisis perubahan sentimen hipotesis dari waktu ke waktu. Ini juga memungkinkan kita memahami dan memperkirakan keberpihakan dalam informasi sumber dan keberpihakan dalam model bahasa besar itu sendiri.
Kemajuan pesat dalam model bahasa besar dan mesin generatif dijamin akan terjadi. Kerangka kerja pemodelan multi-agen seperti Surv_ai membuktikan dirinya sebagai kerangka kerja yang menjanjikan dan berharga untuk kasus penggunaan seperti itu. Diklaim, ini juga dapat berfungsi sebagai alat yang potensial dan tak tergantikan bagi para peneliti untuk menyelidiki masalah kompleks dengan banyak faktor yang bergantung padanya. Ini akan menarik untuk melihat bagaimana hal ini berkembang dan beradaptasi dari waktu ke waktu.
Disarikan dari: Citation