LMFlow: Alat Ringan untuk Melatih Model Bahasa Besar dengan Sumber Daya Terbatas
Peneliti dari Universitas Hong Kong dan Universitas Princeton telah menciptakan alat ringan dan mudah digunakan untuk membantu pengembang dan peneliti dalam melatih model bahasa besar dengan sumber daya terbatas. Alat ini disebut LMFlow dan menawarkan prosedur finetuning yang komprehensif untuk meningkatkan performa model bahasa besar yang tersedia secara online.
Model bahasa besar yang dibangun di atas model foundation besar telah menunjukkan kemampuan umum untuk menjalankan berbagai tugas yang sebelumnya tidak mungkin dilakukan. Namun, finetuning lebih lanjut dari model-model besar tersebut diperlukan untuk meningkatkan performa pada domain atau tugas yang spesifik. Beberapa prosedur umum untuk finetuning model-model besar ini meliputi ongoing pretraining di area niche, penyesuaian instruksi untuk melatih model dasar yang dapat memahami dan menjalankan instruksi bahasa alami tertentu, dan pelatihan model dasar dengan kemampuan konversasi yang diperlukan menggunakan RLHF (reinforcement learning with human feedback).
Meskipun sudah ada beberapa model besar yang telah di-pretrain dan tersedia untuk publik seperti GPT-J, Bloom, LLaMA, dll., belum ada toolbox yang tersedia secara publik yang dapat melakukan operasi finetuning secara efisien di semua model ini. Untuk itulah, tim peneliti dari Universitas Hong Kong dan Universitas Princeton menciptakan LMFlow, sebuah alat yang ringan dan mudah digunakan.
LMFlow menawarkan prosedur finetuning yang lengkap untuk empat langkah utama dalam mengoptimalkan output dari model bahasa besar yang tersedia secara online. Langkah pertama adalah adaptasi domain, yang melibatkan melatih model pada domain tertentu agar dapat mengatasi tugas-tugas di dalamnya dengan lebih baik. Langkah kedua adalah adaptasi tugas, di mana model dilatih untuk mencapai tujuan tertentu seperti summarization, question answering, atau translation. Langkah ketiga adalah penyesuaian parameter model berdasarkan pasangan pertanyaan-jawaban instruksi. Dan langkah terakhir adalah reinforcement learning menggunakan umpan balik manusia untuk menghasilkan model yang lebih baik berdasarkan pendapat orang-orang.
LMFlow menawarkan pendekatan finetuning yang mendalam untuk model-model besar dengan fitur seperti continuous pretraining, instruction tuning, dan RLHF, serta API yang mudah dan fleksibel. Dengan adanya LMFlow, pelatihan model yang individual kini dapat diakses oleh semua orang meskipun dengan sumber daya komputasi yang terbatas. Setiap orang dapat memilih model yang sesuai dengan sumber daya yang tersedia untuk melakukan kegiatan seperti question answering, companionship, writing, translation, dan konsultasi ahli dalam berbagai subjek. Jika pengguna memiliki model dan dataset yang cukup besar, melatih dalam waktu yang lebih lama akan menghasilkan performa yang lebih baik. Tim peneliti baru-baru ini berhasil melatih model dengan 33 miliar parameter yang mengungguli ChatGPT.
LMFlow menawarkan kemudahan dalam melatih model bahasa besar meskipun dengan sumber daya terbatas. Dengan satu GPU Nvidia 3090 dan waktu selama lima jam, Anda dapat melatih model kustom berdasarkan model LLaMA dengan 7 miliar parameter. Tim peneliti juga telah menyediakan bobot model untuk penelitian akademik setelah menggunakan framework ini untuk melatih versi-versi LLaMA dengan 7, 13, 33, dan 65 miliar parameter pada satu mesin.
LMFlow merupakan terobosan yang penting dalam pengembangan dan penelitian dalam bidang pemodelan bahasa besar. Dengan adanya alat ini, para pengembang dan peneliti dapat mengoptimalkan performa model bahasa besar mereka dengan sumber daya terbatas. Selain itu, LMFlow juga memungkinkan akses pelatihan model yang individual bagi semua orang. Dengan fitur-fitur seperti continuous pretraining, instruction tuning, dan RLHF, LMFlow membuka peluang baru bagi kemajuan dalam pengembangan aplikasi berbasis bahasa alami seperti question answering, companionship, dan translation.
Manfaat LMFlow dalam Melatih Model Bahasa Besar
LMFlow menawarkan berbagai manfaat bagi pengembang dan peneliti dalam melatih model bahasa besar dengan sumber daya terbatas. Dengan menggunakan alat ini, mereka dapat melatih model bahasa besar dengan cara yang lebih efisien dan efektif. Berikut adalah beberapa manfaat yang ditawarkan oleh LMFlow:
1. Efisiensi: Dengan LMFlow, Anda dapat melatih model bahasa kustom dengan sumber daya terbatas seperti satu GPU Nvidia 3090 dan waktu lima jam. Ini memungkinkan pengembang dan peneliti untuk melatih model bahasa besar tanpa harus mengeluarkan biaya yang besar atau menggunakan sumber daya komputasi yang mahal.
2. Fleksibilitas: LMFlow menawarkan API yang mudah dan fleksibel, sehingga pengguna dapat dengan mudah mengatur alur kerja pelatihan sesuai dengan kebutuhan mereka. Pengguna dapat menyesuaikan langkah-langkah finetuning yang dilakukan pada model bahasa besar untuk mencapai performa yang optimal dalam tugas-tugas yang spesifik.
3. Performa Tinggi: Dengan menggunakan LMFlow, pengguna dapat mencapai performa yang superior pada model bahasa besar mereka. Tim peneliti telah berhasil melatih model dengan 33 miliar parameter yang mengungguli model ChatGPT. Ini menunjukkan bahwa LMFlow dapat menghasilkan model bahasa besar yang memiliki kemampuan yang sangat baik dalam menjalankan tugas-tugas seperti question answering, companionship, dan translation.
Kesimpulan
LMFlow merupakan alat ringan dan mudah digunakan yang dapat membantu pengembang dan peneliti dalam melatih model bahasa besar dengan sumber daya terbatas. Dengan LMFlow, pengguna dapat melatih model bahasa kustom dengan cara yang lebih efisien dan efektif. Alat ini menawarkan berbagai fitur seperti continuous pretraining, instruction tuning, dan RLHF untuk meningkatkan performa model bahasa besar. Dengan adanya LMFlow, melatih model bahasa besar menjadi lebih mudah dan dapat diakses oleh semua orang.
Disarikan dari: Source