Text2NeRF: Generasi 3D dengan Keterampilan Bahasa Alami
Teknologi generasi gambar dengan bantuan keterampilan bahasa alami telah menjadi topik yang menarik dalam beberapa tahun terakhir. Teknologi ini telah membantu dalam proses pengembangan model 3D yang dapat meningkatkan produktivitas dan mengurangi batasan bagi para pemula. Namun, proses ini masih sulit karena kurangnya data yang memadai, sehingga para peneliti mencoba untuk mengatasi keterbatasan data ini dengan menggunakan teknologi terbaru.
Teknologi tersebut diantaranya adalah CLIP-Mesh, DreamFusion, dan Magic3D, yang mengoptimalkan representasi 3D dengan deep priors dari model text-to-image yang sebelumnya sudah dilatih, seperti CLIP atau image diffusion models. Namun, teknologi ini masih memiliki keterbatasan pada batasannya yang hanya dapat menciptakan geometri yang dasar dan estetika yang surreal.
Para peneliti dari University of Hong Kong kemudian memperkenalkan Text2NeRF, sebuah sistem sintesis 3D yang didorong oleh teks yang mengkombinasikan fitur terbaik dari model text-to-image diffusion yang dilatih dengan Neural Radiance Field (NeRF). NeRF dipilih karena lebih unggul dalam memodelkan fitur yang halus dan realistis pada berbagai pengaturan, sehingga dapat mengurangi artefak yang disebabkan oleh mesh segitiga.
Text2NeRF mampu menghasilkan struktur geometri yang lebih halus dan tekstur yang lebih realistis pada 3D scene dengan menggunakan priors gambar yang lebih halus yang diperoleh dari model diffusi daripada teknik sebelumnya, seperti DreamFusion. Untuk memastikan konsistensi antar pandangan, para peneliti menggunakan teknik inpainting dan pembaruan progresif (PIU).
Ada dua sub-topik utama dalam penemuan Text2NeRF, yaitu:
Pendekatan yang Lebih Baik untuk Generasi 3D
Text2NeRF merupakan teknologi terbaru yang menggunakan deep priors dari model text-to-image yang dilatih dengan Neural Radiance Field (NeRF) untuk menghasilkan struktur geometri yang lebih halus dan tekstur yang lebih realistis pada 3D scene. Teknologi NeRF dipilih karena lebih unggul dalam memodelkan fitur yang halus dan realistis pada berbagai pengaturan.
Teknologi yang Lebih Universitas dan Mampu Menghasilkan Scene yang Lebih Realistis
Text2NeRF mampu menciptakan adegan yang lebih realistis dan lebih luas dengan bantuan teknik pembaruan progresif (PIU) dan representasi 3D NeRF. Teknik PIU bertujuan untuk memastikan konsistensi antar pandangan pada adegan 3D yang dihasilkan. Sedangkan representasi 3D NeRF mampu menciptakan adegan yang lebih luas dan realistis pada berbagai setting, termasuk adegan artistik, interior, dan outdoor.
Kesimpulan
Text2NeRF merupakan sebuah inovasi teknologi terbaru yang dapat membantu meningkatkan produktivitas dan mengurangi batasan dalam mengembangkan model 3D. Teknologi ini menggunakan deep priors dari model text-to-image dengan Neural Radiance Field (NeRF) untuk menciptakan adegan yang lebih realistis dan lebih luas, serta teknik pembaruan progresif (PIU) untuk memastikan konsistensi antar pandangan pada adegan 3D yang dihasilkan. Dengan teknologi ini, para pengguna dapat menciptakan adegan 3D yang lebih halus dan realistis pada berbagai setting, termasuk adegan artistik, interior, dan outdoor.
Disarikan dari: Source