Perkembangan teknologi Natural Language Processing (NLP) saat ini semakin pesat. Banyak perusahaan seperti OpenAI, AI21, dan CoHere, yang menyediakan Layanan Model Bahasa Alami (LLM) sebagai layanan, mengingat potensi menariknya dalam konteks komersial, ilmiah, dan keuangan. Namun, penggunaan LLM dalam aplikasi high-throughput dapat menjadi sangat mahal.
Misalnya, menggunakan GPT-4 untuk membantu layanan pelanggan dapat menghabiskan biaya lebih dari $21.000 per bulan, dan ChatGPT diprediksi akan menghabiskan biaya lebih dari $700.000 per hari. Penggunaan LLM terbesar memiliki tagihan harga yang tinggi dan berdampak negatif pada lingkungan dan masyarakat.
Dalam sebuah penelitian baru-baru ini, para ahli dari Universitas Stanford mengusulkan kerangka kerja hemat anggaran yang disebut FrugalGPT, yang memanfaatkan API LLM untuk menangani kueri bahasa alami.
Pendekatan FrugalGPT dalam Hemat Biaya
Terdapat tiga pendekatan utama untuk mengurangi biaya penggunaan LLM. Pertama, prompt adaptation yang menginvestigasi metode untuk menentukan prompt yang paling efisien. Kedua, LLM approximation dengan mengaplikasikan alternatif sederhana dan lebih hemat biaya yang performanya sama dengan yang asli. Ketiga, LLM cascade dengan memilih API LLM yang tepat untuk berbagai kueri secara dinamis.
FrugalGPT merupakan kerangka kerja hemat anggaran yang mengambil keuntungan dari semua LLM yang tersedia dan memutuskan cara terbaik untuk menggunakannya. FrugalGPT belajar mengadaptasi triase secara adaptif untuk pertanyaan dari semua dataset ke berbagai kombinasi LLM seperti ChatGPT, GPT-3, dan GPT-4. Dibandingkan dengan API LLM terbaik, FrugalGPT menghemat hingga 98% biaya inferensi sambil mempertahankan performa yang sama pada tugas downstream. FrugalGPT juga dapat memberikan peningkatan performa hingga 4%.
Namun, pendekatan FrugalGPT hanya mempertimbangkan keseimbangan antara performa dan biaya. Faktor lain seperti latency, keterjangkauan, privasi, dan dampak lingkungan lebih penting dalam praktiknya. Oleh karena itu, studi masa depan harus fokus pada memasukkan fitur-fitur ini dalam pendekatan optimasi tanpa mengorbankan performa atau efektivitas biaya. Ketidakpastian hasil yang dihasilkan oleh LLM juga perlu diperhitungkan dengan seksama untuk digunakan dalam aplikasi yang kritis.
Kelebihan dan Keterbatasan FrugalGPT
FrugalGPT memiliki beberapa kelebihan dan keterbatasan. Kelebihannya adalah FrugalGPT mampu mengurangi biaya dan meningkatkan performa. Sedangkan keterbatasannya adalah FrugalGPT memerlukan contoh yang diberi label untuk dilatih dan contoh tes harus memiliki distribusi yang sama atau serupa untuk efektif. Selain itu, waktu dan energi diperlukan untuk menguasai LLM cascade.
Frugality adalah sifat yang penting dalam pengembangan sistem kecerdasan buatan (AI), terutama saat menangani masalah besar dan kompleks. FrugalGPT menunjukkan bahwa pendekatan yang hemat biaya dalam penggunaan LLM dapat menghemat biaya dan meningkatkan performa. Meskipun masih ada beberapa keterbatasan, namun FrugalGPT memiliki potensi besar untuk digunakan dalam berbagai aplikasi.
Disarikan dari: Citation