Memorialisasi Data: Risiko Privasi pada Model Diffusion dan GAN
Teknologi terbaru dalam pengembangan generative image models, seperti DALL-E 2, Imagen, dan Stable Diffusion, menunjukkan kemampuan yang luar biasa dalam menghasilkan gambar sintetis yang sangat realistis. Namun, masalah keamanan dan privasi mulai muncul seiring dengan meningkatnya popularitas teknologi ini. Salah satu masalah utama adalah kecenderungan model untuk menghafal dan mereproduksi gambar tertentu dari data pelatihan selama generasi. Karakteristik ini menimbulkan implikasi privasi yang penting yang melampaui contoh individu, memerlukan eksplorasi yang komprehensif terkait konsekuensi potensial dari penggunaan model diffusion untuk generasi gambar.
Kabar baiknya, para peneliti dari universitas-universitas di Amerika Serikat dan Google telah mengusulkan artikel terbaru yang mengatasi masalah ini. Mereka mengeksplorasi risiko privasi dan kemampuan generalisasi dari diffusion dan generative adversarial networks (GANs) dalam menghasilkan gambar sintetis. Penelitian ini menggunakan pendekatan serangan pertahanan untuk mengevaluasi rentan terhadap serangan. Penelitian ini mencakup tiga jenis serangan, yaitu serangan ekstraksi data, serangan rekonstruksi data, dan serangan inferensi keanggotaan. Hasil penelitian menunjukkan bahwa model diffusion cenderung lebih rentan terhadap serangan daripada GANs.
Serangan Ekstraksi Data dan Inferensi Keanggotaan
Pada saat melakukan eksperimen, peneliti membandingkan antara model diffusion dengan GANs untuk mengevaluasi tingkat privasi relatif dari kedua jenis model tersebut. Mereka mengeksplorasi serangan inferensi keanggotaan dan serangan ekstraksi data untuk mengevaluasi rentan dari kedua jenis model tersebut. Peneliti mengusulkan metodologi serangan privasi untuk serangan inferensi keanggotaan dan melakukan serangan pada GANs. Dengan menggunakan kehilangan diskriminator sebagai metrik, mereka mengukur kebocoran inferensi keanggotaan. Hasil penelitian menunjukkan bahwa model diffusion memiliki kebocoran inferensi keanggotaan yang lebih tinggi daripada GANs, sehingga model diffusion kurang privasi untuk serangan inferensi keanggotaan.
Pada eksperimen berikutnya, peneliti memperkenalkan gambar dari berbagai arsitektur model dan mengidentifikasi salinan yang hampir sama dengan data pelatihan. Mereka mengevaluasi model yang dilatih sendiri dan model pre-trained. Temuan penelitian menunjukkan bahwa model diffusion menghafal lebih banyak data daripada GANs, bahkan ketika performansi adalah sama. Selain itu, mereka menemukan bahwa semakin berkualitas model generatif, baik GANs maupun model diffusion, semakin cenderung menghafal lebih banyak data.
Pertimbangan Terhadap Masalah Memorialisasi Data
Penelitian ini menemukan bahwa model diffusion dan GANs menghafal banyak gambar yang sama. Hal ini menunjukkan bahwa ada beberapa gambar yang kurang privasi dibandingkan gambar lainnya. Memahami alasan di balik fenomena ini menjadi area penelitian yang menarik untuk ke depannya. Selain itu, tim peneliti juga melakukan studi eksperimental untuk memeriksa efisiensi dari berbagai pertahanan dan strategi praktis yang dapat membantu mengurangi dan memeriksa memorisasi model, termasuk mengecek kembali kumpulan data pelatihan, mengevaluasi risiko privasi melalui teknik audit, menerapkan strategi pengamanan privasi saat tersedia, dan mengelola ekspektasi terkait privasi dalam data sintetis.
Penelitian ini menunjukkan bahwa state-of-the-art diffusion models dapat menghafal dan mereproduksi gambar individu pelatihan, sehingga vulnerable terhadap serangan ekstraksi data. Dalam menjalankan eksperimen dengan pelatihan model, para peneliti menemukan bahwa prioritizing utilitas dapat mengorbankan privasi, dan mekanisme pertahanan konvensional seperti deduplikasi tidak cukup dalam memitigasi masalah memorisasi. Penemuan lainnya adalah state-of-the-art diffusion models menunjukkan dua kali lipat tingkat memorisasi dibandingkan GANs yang sebanding. Selain itu, mereka menemukan bahwa model diffusion yang lebih kuat, dirancang untuk meningkatkan utilitas, cenderung menunjukkan tingkat memorisasi yang lebih tinggi daripada model yang lebih lemah. Oleh karena itu, penelitian ini menekankan perlunya investigasi lebih lanjut mengenai kemampuan memorisasi dan generalisasi pada model generative image.
Disarikan dari: Sumber