Proses Pengawasan: Metode Terbaru Training Model Bahasa untuk Peningkatan Kemampuan Berpikir
Belakangan ini telah terjadi kemajuan yang sangat pesat dalam kemampuan model bahasa besar untuk melakukan penalaran multi-tahap yang kompleks. Meskipun demikian, model-model modern masih sering melakukan kesalahan yang tidak masuk akal. Untuk melatih model yang lebih akurat, dapat menggunakan dua jenis pengawasan yaitu pengawasan hasil akhir (outcome supervision) dan pengawasan proses (process supervision).
Pengawasan proses memungkinkan model untuk mengikuti asosiasi yang telah disetujui oleh manusia, sementara pengawasan hasil akhir hanya memberikan umpan balik terhadap hasil akhir yang benar. Dalam konteks ini, model yang dilatih menggunakan pengawasan proses lebih dapat diandalkan dalam melakukan penalaran logis, terutama dalam bidang yang membutuhkan beberapa jalur pemikiran.
Adanya halusinasi pada model bahasa dapat menyebabkan perbedaan hasil penalaran. Oleh karena itu, peningkatan kemampuan berpikir tergantung pada kemampuan mengenali dan mengontrol halusinasi tersebut. Salah satu strategi yang dapat digunakan adalah melatih model hadiah untuk membedakan mana yang hasilnya baik dan mana yang tidak. Model hadiah kemudian dapat diintegrasikan ke dalam pipa RL atau digunakan untuk pencarian RS.
Pengawasan proses memiliki banyak kelebihan, di antaranya memberikan respon yang lebih spesifik, lebih mudah dipahami oleh manusia, dan memberikan penghargaan yang lebih langsung kepada model yang mengikuti jalur pemikiran yang disetujui oleh manusia. Berbeda dengan model hadiah yang diawasi hasil akhir, model hadiah yang diawasi proses (PRM) mendapatkan umpan balik pada setiap tahap proses penalaran model.
Pada dasarnya, pengawasan proses dan hasil akhir memiliki pendekatan yang sama, tetapi ada tiga perbedaan utama. Pertama, pengawasan proses memerlukan lebih banyak masukan manusia. Kedua, pengawasan hasil akhir dapat dilakukan tanpa campur tangan manusia. Ketiga, pengawasan proses lebih efektif dalam skala yang lebih besar.
Metode pengawasan proses telah terbukti dapat menghasilkan model yang lebih dapat diandalkan dan efektif dalam melakukan penalaran logis. Selain itu, penggunaan pembelajaran aktif dapat mengurangi biaya pengumpulan data manusia. Keberhasilan proses pengawasan menyebabkan peneliti menjadi semakin tertarik untuk melakukan penelitian lebih lanjut dalam metode ini.
Pengawasan Hasil Akhir vs Pengawasan Proses dalam Penalaran Matematika
Penelitian telah menunjukkan bahwa pengawasan proses dapat menghasilkan model yang lebih dapat diandalkan dan efektif dalam melakukan penalaran logis dalam matematika. Para peneliti telah membuktikan hal ini melalui pengumpulan data manusia dalam skala besar dan pengujian terhadap model yang lebih kuat. Penelitian menemukan bahwa model hadiah yang diawasi proses dapat menyelesaikan 78,2% masalah dalam sampel uji MATH.
Pembelajaran aktif di dalam pengawasan proses mengurangi biaya pengumpulan data manusia hingga 2,6 kali lipat. Pengawasan proses juga lebih mudah dipahami oleh manusia dan memberikan penghargaan yang lebih langsung kepada model yang mengikuti jalur pemikiran yang disetujui oleh manusia.
Meskipun pengawasan proses memiliki banyak kelebihan, penggunaan metode ini terbatas pada matematika. Para peneliti masih membutuhkan penelitian lebih lanjut untuk mengevaluasi keefektifan metode pada bidang studi lainnya. Meskipun demikian, metode pengawasan proses memiliki potensi besar untuk meningkatkan kemampuan berpikir model bahasa dalam berbagai bidang studi.
Disarikan dari: Sumber