Generative Diffusion Models, Konsep Baru Pembelajaran Distribusi
Generative diffusion models adalah kerangka yang fleksibel dan kuat untuk pembelajaran distribusi berdimensi tinggi dan menyelesaikan masalah invers. Model ini telah sukses digunakan untuk pembelajaran distribusi gambar generik seperti Dalle-2, Latent Diffusion, dan Imagen karena beberapa kemajuan terbaru dalam bidang tersebut. Namun, masalah privasi, keamanan, dan hak cipta muncul karena model ini dapat diakses oleh pihak yang tidak berwenang yang dapat memperoleh sampel dataset melalui akses kueri sederhana.
Untuk mengatasi masalah ini, para peneliti memperkenalkan kerangka kerja baru berbasis difusi yang dapat mempelajari distribusi yang tidak diketahui dari sampel yang sangat tercemar. Hal ini sering terjadi pada konteks ilmiah, di mana memperoleh sampel bersih sulit atau mahal. Konsep intinya adalah dengan menciptakan distorsi pengukuran tambahan selama difusi dan kemudian menantang model untuk memprediksi gambar asli yang terdistorsi dari gambar lain yang terdistorsi.
Dalam hasil penelitian yang dilakukan, para peneliti menunjukkan bahwa metode ini dapat menghasilkan model yang mampu memperoleh harapan bersyarat dari gambar yang tidak terdistorsi dalam cahaya pengukuran tambahan ini. Metode yang mereka gunakan adalah inpainting dan compressed sensing. Hasil pelatihan pada benchmark standar industri menunjukkan bahwa model mereka dapat mempelajari distribusi bahkan ketika semua sampel pelatihan kehilangan 90% piksel mereka. Selain itu, model dasar dapat disesuaikan dengan dataset tercemar kecil, dan distribusi bersih dapat dipelajari tanpa menghafal set pelatihan.
Namun, terdapat batasan pada model ini. Tingkat distorsi adalah kebalikan dari kualitas generator. Generator kurang mungkin belajar dari memori ketika tingkat distorsi ditingkatkan namun kualitas menjadi berkurang. Definisi persis dari kompromi ini masih menjadi masalah penelitian yang belum terpecahkan. Selain itu, asumsi yang kuat tentang distribusi data diperlukan untuk memberikan jaminan privasi yang ketat tentang perlindungan sampel latihan.
Pemantapan Generative Diffusion Models
Pemantapan model difusi generatif adalah salah satu perbaikan dari model dasar yang dilakukan dalam penelitian ini. Salah satu keuntungannya adalah dapat mempelajari distribusi dari sedikit sampel yang tercemar, dan proses fine-tuning hanya membutuhkan beberapa jam pada satu GPU. Beberapa sampel yang rusak pada domain yang berbeda juga dapat digunakan untuk memoles model dasar seperti Deepfloyd’s IF.
Para peneliti membandingkan model yang dilatih dengan dan tanpa distorsi dengan memperlihatkan distribusi kesamaan teratas dengan sampel pelatihan. Hasil penelitian menunjukkan bahwa model yang dilatih dengan data yang cukup rusak tidak mempertahankan pengetahuan tentang data pelatihan asli. Model ini juga menunjukkan kinerja yang setara atau lebih baik daripada model difusi terbaru untuk menangani beberapa masalah invers. Model ini hanya memerlukan satu tahap prediksi untuk menyelesaikan tugasnya, sedangkan model dasar membutuhkan banyak tahap difusi.
Namun, seiring dengan kemajuan dalam teknologi, masih ada beberapa masalah yang belum terpecahkan dalam penggunaan model ini. Salah satunya adalah ketidakpastian dalam definisi kompromi antara distorsi dan kualitas generator. Namun, para peneliti tetap optimis tentang penggunaan generative diffusion models dalam berbagai aplikasi di masa depan.
Kata Kunci: generative diffusion models, pembelajaran distribusi, sampel tercemar, fine-tuning, privasi.
Disarikan dari: Link