Neuralangelo: Membuat Replika Dunia Nyata dalam Bentuk 3D
Jaringan saraf telah maju secara signifikan dalam beberapa tahun terakhir, dan mereka telah menemukan penggunaan dalam hampir semua aplikasi. Salah satu penggunaan yang paling menarik adalah pemodelan 3D dari dunia nyata. Kami telah melihat medan radiance neural (NeRF) yang dapat dengan akurat menangkap geometri 3D sebuah adegan dengan menggunakan kamera biasa. Kemajuan ini membuka halaman baru dalam rekonstruksi permukaan 3D. Tujuan dari rekonstruksi permukaan 3D adalah untuk memulihkan struktur geometrik detail dari sebuah adegan dengan menganalisis beberapa gambar yang diambil dari sudut pandang yang berbeda. Permukaan yang direkonstruksi ini mengandung informasi struktural yang berharga yang dapat diterapkan pada berbagai aplikasi, termasuk menghasilkan aset 3D untuk realitas terkaya/menyatu dan memetakan lingkungan untuk navigasi robot otonom. Pendekatan yang sangat menarik adalah rekonstruksi permukaan fotogrammetrik menggunakan satu kamera RGB tunggal, karena ini memungkinkan pengguna untuk dengan mudah membuat replika digital dunia nyata menggunakan perangkat seluler biasa.
Rekonstruksi permukaan 3D memainkan peran penting dalam menghasilkan struktur geometrik yang padat dari beberapa gambar, memungkinkan berbagai aplikasi seperti realitas terkaya/menyatu dan robotika. Meskipun metode klasik, seperti algoritma multi-view stereo, telah populer untuk rekonstruksi 3D yang jarang, mereka sering berjuang dengan pengamatan yang ambigu dan menghasilkan hasil yang tidak akurat atau tidak lengkap. Metode rekonstruksi permukaan saraf telah muncul sebagai solusi yang menjanjikan dengan memanfaatkan perceptron berlapis koordinat (MLP) berbasis koordinat untuk mewakili adegan sebagai fungsi implisit. Namun, kesetiaan metode saat ini tidak ber-skala dengan kapasitas MLP.
Neuralangelo, Solusi Rekonstruksi Permukaan 3D
Neuralangelo adalah kerangka kerja yang menggabungkan kekuatan Instant NGP (Neural Graphics Primitives) dan representasi SDF saraf untuk mencapai rekonstruksi permukaan dengan akurasi tinggi. Neuralangelo mengadopsi Instant NGP sebagai representasi Fungsi Jarak Bertanda (SDF) saraf dari adegan 3D yang mendasar. Instant NGP memperkenalkan struktur grid 3D hibrida dengan encoding hash multi-resolusi, bersama dengan MLP yang ringan yang meningkatkan ekspresivitas sambil menjaga jejak memori log-linier. Representasi hibrida ini secara signifikan meningkatkan kekuatan representasi lapangan saraf dan unggul dalam menangkap detail halus.
Untuk meningkatkan kualitas rekonstruksi permukaan yang di-encode hash, Neuralangelo memperkenalkan dua teknik kunci. Pertama, gradien numerik digunakan untuk menghitung turunan orde tinggi, seperti normal permukaan, yang berkontribusi pada menstabilkan proses optimasi. Kedua, jadwal optimasi progresif diimplementasikan untuk memulihkan struktur pada tingkat detail yang berbeda, memungkinkan pendekatan rekonstruksi yang komprehensif. Teknik-teknik ini bekerja secara sinergi, mengarah pada perbaikan substansial dalam akurasi rekonstruksi dan kualitas sintesis pandangan.
Neuralangelo secara alami menggabungkan kekuatan encoding hash multi-resolusi ke dalam representasi SDF saraf, menghasilkan kemampuan rekonstruksi yang ditingkatkan. Kedua, penggunaan gradien numerik dan regularisasi eikonal membantu meningkatkan kualitas rekonstruksi permukaan yang di-encode hash dengan menstabilkan proses optimasi. Akhirnya, eksperimen yang luas pada benchmark standar dan adegan dunia nyata menunjukkan efektivitas Neuralangelo, memperlihatkan peningkatan yang signifikan dibandingkan dengan metode rekonstruksi permukaan saraf berbasis gambar sebelumnya dalam hal akurasi rekonstruksi dan kualitas sintesis pandangan.
Neuralangelo menawarkan solusi yang menjanjikan untuk melakukan rekonstruksi permukaan 3D dengan akurasi yang tinggi dan efisien. Dengan menggunakan teknik progresif dan gradien numerik, Neuralangelo dapat menangani masalah kompleksitas terkait dengan rekonstruksi permukaan 3D. Diharapkan Neuralangelo dapat menjadi solusi yang lebih baik dan efisien dalam membuat replika 3D dari dunia nyata.
Disarikan dari: Source