MosaicML-30B: Transforming the AI Landscape dengan Model Pretrained yang Lebih Unggul
MosaicML telah kembali mengungguli dirinya sendiri setelah sukses besar dengan peluncuran MosaicML-7B. Dalam peluncuran terbaru yang menghebohkan ini, MosaicML memperkenalkan MosaicML-30B yang mengklaim lebih baik daripada ChatGPT3, sebuah terobosan baru dalam dunia transformator pretrained.
Sebelum hadirnya MosaicML-30B, MosaicML-7B telah menggegerkan dunia kecerdasan buatan. MPT-7B Base-instruct, base-chat, dan story writing menjadi sukses besar. Perusahaan ini mengklaim bahwa model-model ini telah diunduh lebih dari 3 juta kali di seluruh dunia. Salah satu alasan utama untuk mengembangkan mesin yang lebih baik adalah antusiasme komunitas terhadap model-model yang sebelumnya dirilis oleh Mosaic ML.
Masyarakat dengan cepat mengadaptasi dan memanfaatkan mesin-mesin MPT ini untuk membangun sesuatu yang lebih baik dan sesuai dengan kasus penggunaan yang konkret. Salah satu contoh menarik adalah LLaVA-MPT. LLaVa-MPT menambahkan pemahaman visual ke dalam MPT-7B yang sudah pretrained.
Tidak hanya itu, GGML juga mengoptimalkan mesin-mesin MPT agar berjalan lebih baik di Apple Silicon dan CPU. GPT4ALL adalah contoh penggunaan lain yang memungkinkan Anda menjalankan opsi obrolan mirip GPT4 dengan MPT sebagai mesin dasarnya.
Salah satu alasan utama MosaicML mampu bersaing dengan perusahaan besar dan menjadi alternatif yang lebih baik adalah fitur-fitur kompetitif yang mereka tawarkan dan kemampuan model-model mereka untuk diintegrasikan dengan mudah dalam berbagai kasus penggunaan.
Dalam peluncuran ini, Mosaic ML juga mengklaim bahwa MPT-30B mereka memiliki performa yang lebih baik dibandingkan ChatGPT3 dengan hanya sepertiga parameter yang digunakan oleh ChatGPT, menjadikannya model yang sangat ringan dibandingkan dengan solusi generatif yang sudah ada.
MPT-30B ini lebih baik daripada MPT-7B yang sudah ada, dan dapat digunakan secara komersial dengan lisensi komersial. Tidak hanya itu, MPT-30B dilengkapi dengan dua model pretrained, yaitu MPT-30B-Instruct dan MPT-30B-Chat, yang mampu dipengaruhi oleh satu instruksi tunggal dan dapat mengikuti percakapan multiturn dalam jangka waktu yang lebih lama.
Alasan mengapa MPT-30B ini lebih baik terus berlanjut. MosaicML telah merancang MPT-30B ini sebagai model yang lebih baik dan lebih kuat dengan pendekatan dari bawah ke atas, memastikan bahwa setiap komponen berjalan lebih baik dan lebih efisien. MPT-30B telah dilatih dengan jendela konteks token 8k. Ini mendukung konteks yang lebih panjang melalui ALiBi.
MosaicML juga telah meningkatkan performa pelatihan dan inferensi dengan bantuan FlashAttention. MPT-30B juga dilengkapi dengan kemampuan pemrograman yang lebih kuat, berkat keragaman data yang digunakan dalam pelatihan. Model ini diperluas menjadi jendela konteks 8K pada Nvidia’s H100. Perusahaan ini mengklaim bahwa ini adalah model LLM pertama yang dilatih pada H100, yang tersedia untuk pelanggan.
MosaicML juga menjaga ukuran model tetap ringan, sehingga membantu organisasi baru dalam menjaga biaya operasional tetap rendah. Ukuran MPT-30B juga dipilih secara khusus agar mudah diterapkan pada satu GPU. Sistem dapat menjalankan 1xA100-80GB dengan presisi 16-bit atau 1xA100-40GB dengan presisi 8-bit. LLM yang sebanding lainnya, seperti Falcon-40B, memiliki jumlah parameter yang lebih besar dan tidak dapat dijalankan pada satu GPU pusat data (saat ini), sehingga meningkatkan biaya sistem inferensi minimum.
MosaicML-30B telah menciptakan terobosan baru dalam dunia transformator pretrained dengan menawarkan model yang lebih unggul dalam berbagai aspek. Dengan kemampuan adaptasi yang luar biasa dan fitur-fitur kompetitif yang ditawarkannya, MosaicML-30B menjadi alternatif yang menarik bagi perusahaan-perusahaan besar dalam memenuhi kebutuhan kecerdasan buatan mereka. Dengan keunggulan performa dan kemudahan integrasinya, MosaicML-30B dapat menjadi solusi terbaik untuk berbagai kasus penggunaan di masa depan.
MosaicML-30B: Mesin Pretrained yang Lebih Ringan dan Lebih Tangguh
MosaicML telah meluncurkan MosaicML-30B, sebuah mesin pretrained yang diklaim lebih baik daripada ChatGPT3. Mesin pretrained ini, dengan jumlah parameter yang lebih sedikit, mampu memberikan performa yang lebih unggul dibandingkan solusi generatif yang sudah ada.
Sebelumnya, MosaicML telah menciptakan kehebohan dengan peluncuran MosaicML-7B yang sangat sukses. Mesin MPT-7B Base-instruct, base-chat, dan story writing telah menjadi populer di kalangan pengguna AI di seluruh dunia. Mesin-mesin ini telah diunduh lebih dari 3 juta kali di seluruh dunia.
MosaicML terus memperbaiki mesin-mesinnya untuk memenuhi kebutuhan dan keinginan pengguna. Melihat antusiasme dan keberhasilan model-model sebelumnya, MosaicML merilis MosaicML-30B yang memiliki performa yang lebih baik. Mesin ini diklaim memiliki performa yang lebih unggul dibandingkan ChatGPT3 dengan hanya sepertiga jumlah parameter yang digunakan oleh ChatGPT.
Selain performa yang lebih baik, MosaicML-30B juga hadir dengan dua model pretrained, yaitu MPT-30B-Instruct dan MPT-30B-Chat, yang mampu diintegrasikan dengan satu instruksi tunggal dan dapat digunakan dalam percakapan multiturn dalam jangka waktu yang lebih lama.
MosaicML-30B juga dirancang dengan pendekatan yang lebih efisien. Model ini dilatih dengan menggunakan jendela konteks token 8k dan mendukung konteks yang lebih panjang melalui ALiBi. Dalam proses pelatihan dan inferensi, MosaicML-30B menggunakan FlashAttention untuk meningkatkan performa.
Meskipun memiliki performa yang lebih baik, MosaicML-30B tetap ringan dan dapat dijalankan pada sebuah GPU tunggal. Hal ini membantu organisasi baru dalam menjaga biaya operasional tetap rendah. Dibandingkan dengan LLM sebanding lainnya yang membutuhkan dua atau lebih GPU, MosaicML-30B dapat dijalankan hanya dengan 1xA100-80GB dalam presisi 16-bit atau 1xA100-40GB dalam presisi 8-bit.
Dengan peluncuran MosaicML-30B, MosaicML sekali lagi membuktikan dirinya sebagai pemain utama dalam industri kecerdasan buatan. Mesin pretrained ini tidak hanya unggul dalam performa, tetapi juga lebih mudah diintegrasikan dalam berbagai kasus penggunaan. Dengan fitur-fitur kompetitif dan kemampuan adaptasi yang luar biasa, MosaicML-30B menjadi pilihan yang menarik bagi perusahaan-perusahaan yang mencari solusi kecerdasan buatan yang tangguh dan efisien.
Dengan MosaicML-30B, masa depan kecerdasan buatan semakin menarik. Mesin pretrained yang lebih baik, lebih ringan, dan lebih tangguh menjadi harapan bagi pengembang aplikasi dan perusahaan dengan kebutuhan AI yang beragam. MosaicML-30B membawa perubahan signifikan dalam dunia transformator pretrained dan membantu menghadirkan solusi yang lebih baik dan lebih efisien bagi dunia AI.
Disarikan dari: Sumber