PRODIGY: Kerangka Kerja Pretraining untuk Pembelajaran Konteks pada Grafik
Dalam pembelajaran mesin, salah satu tantangan utama adalah melatih model agar dapat menyelesaikan tugas yang berbeda-beda dengan hanya beberapa contoh. Salah satu pendekatan yang disebut pembelajaran konteks, yang juga digunakan oleh ChatGPT, chatbot terkenal yang dikembangkan oleh OpenAI.
Namun, pembelajaran konteks masih menemui kendala dalam penggunaannya untuk tugas-tugas pembelajaran mesin berbasis grafik. Misalnya, identifikasi penyebar berita palsu di media sosial atau rekomendasi produk pada situs e-commerce. Pembelajaran konteks menghadapi batasan dalam merumuskan dan memodelkan tugas-tugas ini pada grafik dalam representasi tugas yang terpadu, sehingga model dapat menyelesaikan berbagai tugas tanpa perlu dilatih ulang atau menyetel parameter.
Namun, baru-baru ini sebuah studi yang dilakukan oleh tim peneliti dari Universitas Stanford dan Universitas Ljubljana mengenalkan PRODIGY, sebuah kerangka kerja pretraining untuk memungkinkan pembelajaran konteks pada grafik. PRODIGY (Pretraining Over Diverse In-Context Graph Systems) merumuskan pembelajaran konteks pada grafik menggunakan representasi grafik prompt. Grafik prompt berfungsi sebagai representasi tugas grafik konteks yang mengintegrasikan pemodelan simpul, sisi, dan tugas pembelajaran mesin pada level grafik. Jaringan prompt menghubungkan simpul atau sisi input dengan simpul label tambahan dan kontekstualisasi contoh prompt dan pertanyaan. Representasi terhubung ini memungkinkan berbagai tugas pembelajaran mesin grafik untuk ditentukan pada model yang sama, tanpa memperhatikan ukuran grafik.
PRODIGY menggunakan arsitektur jaringan saraf grafik (Graph Neural Networks/GNNs) yang dirancang khusus untuk memproses grafik prompt dan efektif memodelkan dan mempelajari data berstruktur grafik. Desain yang diusulkan memanfaatkan GNN untuk mengajarkan representasi simpul dan sisi dari grafik prompt. Selain itu, keluarga tujuan pretraining konteks telah diperkenalkan untuk membimbing proses pembelajaran, yang memberikan sinyal pengawasan yang memungkinkan model untuk menangkap pola grafik yang relevan dan umum pada berbagai tugas.
Dalam eksperimen yang dilakukan untuk mengevaluasi kinerja dan efektivitas PRODIGY, tim peneliti telah mencoba pada tugas-tugas yang melibatkan jaringan kutipan dan grafik pengetahuan. Model yang telah dilatih sebelumnya telah diuji pada tugas-tugas ini menggunakan pembelajaran konteks, dan hasilnya dibandingkan dengan basis pertimbangan pretraining kontras dengan adaptasi hard-coded dan fine-tuning standar dengan data terbatas. PRODIGY berhasil mengungguli dasar pretraining kontras dengan adaptasi hard-coded sebesar rata-rata 18% dari segi akurasi. PRODIGY juga mencapai peningkatan rata-rata 33% dibandingkan fine-tuning standar dengan data terbatas ketika pembelajaran konteks diterapkan.
Dalam kesimpulan, PRODIGY tampak menjanjikan dalam skenario berbasis grafik seperti pembelajaran konteks dalam aplikasi pembelajaran mesin grafik. Bahkan, ia dapat melakukan tugas klasifikasi downstream pada grafik yang sebelumnya belum pernah dilihat, yang membuatnya lebih efektif dan bermanfaat.
PRODIGY Membuka Peluang Baru untuk Pembelajaran Konteks Grafik
PRODIGY, sebuah kerangka kerja pretraining yang dikembangkan oleh tim peneliti dari Universitas Stanford dan Universitas Ljubljana, membuka peluang baru untuk pembelajaran konteks pada grafik.
PRODIGY menggunakan grafik prompt sebagai representasi tugas grafik konteks yang mengintegrasikan pemodelan simpul, sisi, dan tugas pembelajaran mesin pada level grafik. Representasi terhubung ini memungkinkan berbagai tugas pembelajaran mesin grafik untuk ditentukan pada model yang sama, tanpa memperhatikan ukuran grafik.
Dalam eksperimen yang dilakukan untuk mengevaluasi kinerja dan efektivitas PRODIGY, model yang dilatih sebelumnya telah diuji pada tugas-tugas yang melibatkan jaringan kutipan dan grafik pengetahuan. PRODIGY berhasil mengungguli dasar pretraining kontras dengan adaptasi hard-coded sebesar rata-rata 18% dari segi akurasi. PRODIGY juga mencapai peningkatan rata-rata 33% dibandingkan fine-tuning standar dengan data terbatas ketika pembelajaran konteks diterapkan.
PRODIGY memungkinkan pembelajaran konteks pada grafik untuk menyelesaikan tugas yang berbeda-beda dengan hanya beberapa contoh. Model yang telah dilatih sebelumnya dapat digunakan pada berbagai tugas pembelajaran mesin grafik, yang membuatnya lebih efektif dan bermanfaat. Keterbatasan pembelajaran konteks dalam merumuskan dan memodelkan tugas pembelajaran mesin berbasis grafik pada representasi tugas yang terpadu telah diatasi oleh PRODIGY dengan memanfaatkan grafik prompt.
Dalam waktu yang tidak terlalu lama, PRODIGY mungkin akan menjadi bagian penting dalam pembelajaran mesin berbasis grafik, khususnya dalam pembelajaran konteks. PRODIGY memungkinkan model untuk menangkap pola grafik yang relevan dan umum pada berbagai tugas, sehingga dapat digunakan pada berbagai tugas pembelajaran mesin grafik lainnya.
Disarikan dari: Link