FitMe: Model 3D Wajah dengan Fotorealisme Lebih Tinggi dari Sebelumnya
FitMe merupakan model 3D wajah dengan fotorealisme yang lebih tinggi dari sebelumnya yang diperkenalkan oleh peneliti dari Imperial College London. Meskipun terdapat kemajuan yang besar dalam teknologi 3D facial reconstruction selama sepuluh tahun terakhir, namun 3D facial reconstruction dari satu gambar tetap menjadi masalah yang signifikan di kalangan komunitas computer vision. FitMe dapat membantu mengatasi masalah ini dengan memberikan hasil yang lebih baik dan realistis.
Kelebihan FitMe
FitMe memiliki kemampuan untuk merekonstruksi citra wajah dengan tekstur yang lebih tinggi dan realistis. Hal ini dapat membantu dalam berbagai aplikasi seperti virtual reality, augmented reality, media sosial, permainan, dan aplikasi kesehatan. FitMe menggunakan model 3D Morphable Model (3DMM) yang populer untuk mendapatkan bentuk wajah dan penampilannya dari satu gambar “in-the-wild”. Model ini dapat merepresentasikan bentuk dan penampilan wajah dengan identitas dan ekspresi yang berbeda-beda yang telah dipelajari dari lebih dari 200 partisipan.
FitMe juga memiliki kemampuan untuk merekonstruksi citra wajah dengan tekstur yang tinggi. Sebelumnya, teknologi 3D facial reconstruction hanya mampu merekonstruksi citra wajah dengan tekstur yang terbatas. FitMe menggunakan teknologi yang lebih canggih seperti multimodal style-based progressive generator dan branched discriminator untuk merekonstruksi citra wajah dengan tekstur yang lebih tinggi dan realistis.
FitMe juga mudah digunakan dan dapat diaplikasikan pada program rendering yang tersedia di pasaran. FitMe dapat merekonstruksi citra wajah dengan identitas yang sama dan realistis dengan fitur diffused, specular albedo, dan normal yang terpisah.
FitMe membuka kemungkinan untuk merekonstruksi citra wajah dengan tekstur yang lebih tinggi dan realistis di masa depan. FitMe dapat membantu dalam berbagai aplikasi seperti virtual reality, augmented reality, media sosial, permainan, dan aplikasi kesehatan.
Dataset MimicMe
Untuk mengembangkan FitMe, peneliti menggunakan dataset MimicMe yang tersedia secara publik dan terdiri dari 5.000 orang. Dataset ini kemudian dimodifikasi untuk menyeimbangkan representasi warna kulit. Model PCA wajah dan kepala, yang dilatih pada dataset geometri yang besar, digunakan secara bergantian untuk merepresentasikan bentuk wajah.
FitMe menggunakan teknologi differentiable rendering yang dapat diaplikasikan secara iteratif, sehingga dapat merekonstruksi citra wajah dengan identitas yang sama dan realistis dalam waktu kurang dari satu menit. FitMe juga memiliki kemampuan untuk merekonstruksi citra wajah dengan tekstur yang lebih tinggi dan realistis.
Kesimpulan
FitMe merupakan model 3D wajah yang dapat merekonstruksi citra wajah dengan tekstur yang lebih tinggi dan realistis. FitMe menggunakan model 3D Morphable Model (3DMM) yang populer untuk mendapatkan bentuk wajah dan penampilannya dari satu gambar “in-the-wild”. FitMe juga mudah digunakan dan dapat diaplikasikan pada program rendering yang tersedia di pasaran. FitMe dapat membuka kemungkinan untuk merekonstruksi citra wajah dengan tekstur yang lebih tinggi dan realistis di masa depan.
Disarikan dari: Sumber