Perkembangan Terbaru dalam Bidang Kecerdasan Buatan: BloomChat, Model Bahasa Multibahasa Open-Source
Dalam beberapa tahun terakhir, terjadi kemajuan pesat dalam bidang kecerdasan buatan (AI). Sistem bahasa alami semakin berkembang dengan cepat dan semakin baik dengan setiap upgrade dan inovasi yang dilakukan. Large Language Models (LLM) semakin populer dengan penambahan fitur atau modifikasi hampir setiap hari, memungkinkan LLM untuk digunakan dalam berbagai aplikasi hampir di semua domain. LLM ada di mana-mana, mulai dari terjemahan mesin dan ringkasan teks hingga analisis sentimen dan jawaban pertanyaan.
Kemajuan teknologi ini tidak hanya terfokus pada bahasa Inggris, tetapi juga pada model multibahasa. Untuk mengatasi hal ini, SambaNova, sebuah perusahaan perangkat lunak yang fokus pada solusi AI generatif, telah memperkenalkan BLOOMChat, model bahasa multibahasa open-source yang dibangun di atas model BLOOM.
BLOOMChat adalah sebuah model chat LLM multibahasa dengan 176 miliar parameter yang dibangun di atas model BLOOM. BLOOM mampu menghasilkan teks dalam 46 bahasa alami dan 13 bahasa pemrograman. Untuk bahasa seperti Spanyol, Prancis, dan Arab, BLOOM mewakili model bahasa pertama yang pernah dibuat dengan lebih dari 100 miliar parameter. BLOOM dikembangkan oleh organisasi BigScience, yaitu kolaborasi internasional dari lebih dari 1000 peneliti. Dengan mengoptimalkan BLOOM pada dataset percakapan terbuka dan pada proyek seperti OpenChatKit, Dolly 2.0, dan OASST1, kemampuan inti BLOOM diperluas ke dalam domain chat.
Cara Kerja BLOOMChat
Untuk mengembangkan model bahasa multibahasa chat LLM, SambaNova dan Together menggunakan sistem SambaNova DataScale yang memanfaatkan arsitektur Reconfigurable Dataflow yang unik untuk proses pelatihan. Data percakapan sintetis dan sampel yang ditulis oleh manusia digabungkan untuk membuat BLOOMChat. Sebuah dataset sintetis besar yang disebut OpenChatKit digunakan sebagai dasar untuk fitur chat, dan dataset manusia berkualitas lebih tinggi seperti Dolly 2.0 dan OASST1 digunakan untuk meningkatkan kinerja secara signifikan.
Dalam evaluasi manusia yang dilakukan dalam enam bahasa, jawaban BLOOMChat lebih disukai daripada jawaban GPT-4 sebanyak 45,25% dari waktu. Dibandingkan dengan empat model chat open-source lainnya dalam enam bahasa yang sama, jawaban BLOOMChat menempati peringkat teratas sebanyak 65,92% dari waktu. Kinerja BloomChat dalam tes terjemahan WMT juga lebih baik daripada iterasi model BLOOM tambahan serta model percakapan open-source populer lainnya.
BLOOMChat, seperti model chat LLM lainnya, memiliki keterbatasan. Model ini dapat menghasilkan informasi yang tidak akurat atau tidak relevan, tampil dalam bahasa yang salah, bahkan mengulang frasa tertentu, memiliki kemampuan kodifikasi atau matematika yang terbatas, dan kadang-kadang menghasilkan konten yang tidak layak. Namun, penelitian lanjutan sedang dilakukan untuk mengatasi tantangan ini dan memastikan penggunaan yang lebih baik.
Dalam kesimpulannya, BloomChat membangun pada pekerjaan ekstensif dari komunitas open-source dan merupakan tambahan yang baik untuk daftar model LLM multibahasa yang sangat berguna. Dengan melepasnya lisensi open-source, SambaNova dan Together bertujuan untuk memperluas akses ke kemampuan chat multibahasa canggih dan mendorong inovasi lebih lanjut dalam komunitas penelitian AI.
Disarikan dari: Citation