Large Language Models: Kelebihan dan Kekurangannya
Pretrained Large Language Models (LLMs) semakin banyak digunakan untuk berbagai aktivitas linguistik, termasuk dalam pembuatan kode komputer. Model-model tersebut menunjukkan performa yang semakin baik dengan meningkatnya ukuran model pada banyak tugas dunia nyata, termasuk tugas-tugas pemrograman. Namun, peneliti menemukan beberapa tugas yang menunjukkan kebalikan dari hal tersebut, di mana kualitas output malah menurun ketika ukuran model semakin besar. Tugas-tugas dengan kebalikan skalabilitas biasanya melibatkan bias sosial, di mana model-model besar (mungkin dengan benar) menangkap bias dari set data latihan yang bias atau contoh-contoh bahasa lisan yang sangat tidak umum tetapi masih dapat dikenali.
Tetapi, hasil penelitian menunjukkan bahwa LLMs kurang mampu dalam merumuskan struktur semantik yang kompleks dan abstrak dalam bahasa pemrograman. Perlu diketahui bahwa bahasa pemrograman sangat cocok untuk analisis otomatis dan pembuatan prosedural karena sintaksis dan semantisnya yang jelas dan terdefinisi dengan baik. Oleh karena itu, penelitian ini penting untuk platform rekayasa perangkat lunak yang menggunakan LLMs, seperti GitHub Copilot2, yang mulai banyak digunakan oleh pengembang.
Implikasi Penting Temuan Terbaru Penelitian Terkait Large Language Models
Penelitian baru menunjukkan bahwa LLMs mengandalkan “shortcut learning,” atau korelasi leksikal lemah, tidak stabil, dan tidak sepenuhnya memahami semantis data. Temuan ini penting untuk meningkatkan pemahaman ilmiah tentang kemampuan LLMs dan aplikabilitasnya sebagai teknologi dasar untuk alat pembuatan kode otomatis. Penelitian mendatang mungkin dapat mengevaluasi dampak skalabilitas pada bahasa pemrograman lain dan ukuran model yang lebih besar.
Tugas-tugas seperti pembuatan kode Python dengan mengganti pengenal default menunjukkan bahwa semakin besar ukuran model, performanya malah semakin buruk. Hasil penelitian ini implikasinya sangat penting untuk pengembangan teknologi kecerdasan buatan di masa depan.
Untuk lebih jelasnya, silakan cek paper dari penelitian yang dilakukan oleh University of Edinburgh dan Heriot-Watt University, serta link Github yang diberikan pada artikel ini.
Demikian juga, jangan lupa untuk bergabung dengan komunitas subreddit kami dan email newsletter pada website kami untuk mendapatkan berita terbaru terkait penelitian di bidang kecerdasan buatan.
Disarikan dari: Sumber