Peneliti dari ETH Zurich dan Max Plank Mengusulkan Metode Baru HOOD: Memanfaatkan Jaringan Neural Grafik, Penyebaran Pesan Multi-Level, dan Pelatihan Tanpa Pengawasan untuk Memprediksi Dinamika Pakaian yang Realistis secara Efisien

Simulasi pakaian yang realistis menjadi kunci utama dalam berbagai aplikasi seperti telepresence, virtual try-on, dan video game. Namun, metode simulasi yang saat ini digunakan masih memiliki beberapa pembatasan yang menghambat kemampuan penuhnya. Untuk itu, peneliti dari ETH Zurich dan Max Planck Institute for Intelligent Systems telah mengembangkan metode unik untuk meramalkan deformasi pakaian dinamis dengan menggunakan Graph Neural Networks (GNNs).

Pada metode simulasi yang ada saat ini, deformasi pakaian dihitung terutama berdasarkan posisi tubuh dan menggunakan teknik linear-blend skinning. Namun, metode ini tidak efektif untuk pakaian yang longgar seperti gaun dan rok. Selain itu, banyak teknik berbasis pembelajaran mesin hanya dapat meramalkan deformasi untuk pakaian tertentu dan membutuhkan pelatihan ulang untuk setiap pakaian yang berbeda.

Dalam penelitian ini, para peneliti menggunakan pendekatan berbasis Graph Neural Networks (GNNs) untuk meramalkan perilaku pakaian yang lebih realistis. Melalui inferensi logis tentang hubungan antara deformasi lokal, tekanan, dan percepatan, pendekatan mereka dapat belajar mengantisipasi perilaku dari pakaian secara fisis. Pendekatan ini dapat digeneralisasi untuk bentuk dan gerakan tubuh yang berbeda, tidak tergantung pada struktur dan bentuk keseluruhan pakaian.

Metode yang dikembangkan oleh para peneliti ini melibatkan penggunaan Graph Neural Networks (GNNs) untuk memodelkan deformasi pakaian secara lokal. Setiap verteks dan tetangganya dalam mesh pakaian dianalisis menggunakan GNNs yang diimplementasikan sebagai MLPs. Pesan-pesan dari transformasi ini kemudian digunakan untuk memperbarui vektor fitur. Proses ini diulang untuk memungkinkan sinyal menyebar ke seluruh mesh, tetapi jumlah tahap yang ditentukan sebelumnya membatasi jarak sinyal yang dapat ditransmisikan.

Untuk mengatasi kendala ini, para peneliti mengusulkan sistem komunikasi pesan yang melibatkan jaringan hierarki. Sistem ini memungkinkan penyebaran sinyal pada berbagai tingkat resolusi untuk mengatasi masalah elastisitas pakaian yang cepat dan perubahan topologi yang dinamis. Melalui serangkaian uji coba, para peneliti berhasil meningkatkan prediksi deformasi pakaian dengan anggaran komputasi yang sama.

Dalam metode simulasi yang dikembangkan ini, para peneliti juga menggabungkan Graph Neural Networks dengan teknik simulasi lainnya untuk meningkatkan potensi generalisasi metode mereka. Pendekatan ini memungkinkan mereka untuk melatih jaringan mereka secara mandiri tanpa memerlukan data ground-truth (GT) dan dapat mempelajari dinamika pakaian secara multi-skala, termasuk pengaruh parameter material, reaksi tabrakan, dan kontak gesekan dengan tubuh.

Metode ini juga mendukung perubahan waktu nyata dalam properti material dan ukuran pakaian, serta perubahan topologi seperti membuka resleting atau membuka kancing. Dalam uji coba yang dilakukan, para peneliti menunjukkan bahwa metode yang mereka kembangkan mampu memprediksi gerakan dinamis pakaian yang realistis untuk berbagai jenis pakaian, bentuk tubuh, dan perubahan topologi. Metode ini juga memiliki keunggulan strategis dibandingkan metode terkini dalam hal fleksibilitas dan generalisasi.