Cara Backpack Language Models Mengatasi Bias Gender dalam AI
Kemajuan teknologi dalam bidang kecerdasan buatan (AI) telah membawa dampak signifikan dalam kehidupan kita. Salah satu contohnya adalah penggunaan model bahasa AI seperti ChatGPT yang semakin meluas. Model ini memberikan jawaban yang ringkas, penjelasan yang jelas, dan cenderung lebih cepat dalam menemukan informasi yang kita cari. Namun, ada masalah yang perlu diperhatikan dalam penggunaan model bahasa AI ini, yaitu bias gender dalam distribusi kata ganti.
Bias gender dalam distribusi kata ganti adalah salah satu bias yang telah menarik perhatian dalam pengembangan model bahasa AI. Model-model ini cenderung lebih memilih kata ganti berjenis kelamin seperti “ia” atau “dia” berdasarkan konteks yang ada. Misalnya, jika kita memulai kalimat dengan “CEO percaya bahwa…”, model cenderung melanjutkan dengan kata ganti “ia” yang mengacu pada laki-laki. Namun, jika kita mengganti “CEO” dengan “perawat”, kata berikutnya menjadi “ia” yang mengacu pada perempuan. Contoh ini menjadi studi kasus menarik untuk mengidentifikasi bias gender dan mencari cara untuk mengatasinya.
Penting bagi kita untuk mengatasi bias gender ini agar proses generasi bahasa lebih adil dan inklusif. Salah satu cara yang dapat dilakukan adalah dengan memanfaatkan teknik yang disebut “Backpack Language Models” (Backpack LM). Backpack LM mengatasi masalah bias gender dalam distribusi kata ganti dengan memanfaatkan representasi non-kontekstual yang disebut sense vectors.
Dalam Backpack LM, prediksi-prediksi dibentuk oleh kombinasi log-linear dari representasi non-kontekstual yang disebut sense vectors. Setiap kata dalam kosakata direpresentasikan oleh beberapa sense vectors yang mengkodekan aspek-aspek yang berbeda dari potensi peran kata tersebut dalam konteks yang berbeda. Sense vectors ini mengkhususkan diri dan dapat berguna dalam konteks tertentu. Penjumlahan terbobot dari sense vectors untuk kata-kata dalam sebuah urutan membentuk representasi Backpack dari setiap kata, dengan bobot-bobot yang ditentukan oleh fungsi kontekstualisasi yang beroperasi pada seluruh urutan.
Dengan memanfaatkan sense vectors ini, model Backpack memungkinkan intervensi yang lebih tepat yang berperilaku konsisten di semua konteks. Ini berarti bahwa kita dapat melakukan perubahan non-kontekstual pada model yang secara konsisten mempengaruhi perilakunya. Dibandingkan dengan model Transformer yang terkenal, model Backpack menawarkan antarmuka yang lebih transparan dan mudah dikelola. Mereka memberikan intervensi yang lebih tepat yang lebih mudah dipahami dan dikendalikan. Selain itu, model Backpack tidak mengorbankan kinerjanya. Bahkan, mereka mencapai hasil yang sebanding dengan model Transformer sambil menawarkan interpretabilitas yang lebih baik.
Sense vectors dalam model Backpack mengkodekan berbagai makna kata yang kaya, bahkan melebihi model Transformer terbaik saat ini dalam tugas-tugas kesamaan leksikal. Selain itu, intervensi pada sense vectors, seperti mengurangi bias gender dalam kata-kata profesional, menunjukkan mekanisme kontrol yang ditawarkan oleh model Backpack. Dengan menurunkan skala sense vector yang terkait dengan bias gender, pengurangan yang signifikan dalam disparitas prediksi kontekstual dapat dicapai dalam pengaturan terbatas.
Penggunaan Backpack Language Models telah membuka jalan untuk mengatasi bias gender dalam generasi bahasa AI. Model ini menawarkan cara yang lebih transparan dan dikelola dengan hasil yang setara dengan model Transformer. Dengan sense vectors yang dapat diintervensi secara tepat, model Backpack memungkinkan perubahan yang konsisten dan dapat diprediksi. Hal ini menjadi langkah penting dalam memastikan keadilan dan inklusivitas dalam pengembangan model bahasa AI.
Disarikan dari: Link