**Rekonstruksi 3D Melalui Gambar Mata: Inovasi Terbaru dalam Penginderaan Neural**
*Inovasi baru yang dikembangkan oleh para peneliti dari Universitas Maryland memungkinkan rekonstruksi 3D dari lingkungan yang diamati oleh mata manusia melalui pemindaian mata. Teknik ini menggabungkan penelitian sebelumnya dengan perkembangan terbaru dalam penginderaan neural. Metode ini menggunakan kamera diam dan mengekstraksi petunjuk multi-view dari gambar mata ketika terjadi gerakan kepala.**
Dalam sebuah penelitian terbaru, para peneliti dari Universitas Maryland telah mengembangkan teknik baru yang memungkinkan rekonstruksi 3D dari lingkungan yang diamati oleh mata manusia melalui pemindaian mata. Dalam upaya untuk menggabungkan hasil penelitian terdahulu dengan perkembangan terbaru dalam penginderaan neural, para peneliti menggunakan kamera diam dan mengekstraksi petunjuk multi-view dari gambar mata ketika terjadi gerakan kepala.
Pada umumnya, mata manusia menggunakan lensa-lensa mereka untuk mengarahkan cahaya ke sel-sel fotosensitif yang membentuk retina mata. Namun, ketika melihat mata orang lain, kita juga dapat melihat cahaya yang dipantulkan dari kornea mata mereka. Dalam penggunaan kamera untuk memotret mata orang lain, mata kita berubah menjadi sepasang cermin dalam sistem pencitraan. Karena cahaya yang mencapai retina pengamat dan cahaya yang dipantulkan dari mata pengamat berasal dari sumber yang sama, kamera kita seharusnya memberikan gambar yang mengandung detail tentang lingkungan yang sedang kita lihat.
Dalam penelitian sebelumnya, telah berhasil mendapatkan representasi panoramik dari dunia yang diamati oleh pengamat melalui gambar dua mata. Penelitian lanjutan telah menggali aplikasi-aplikasi seperti pencahayaan ulang, estimasi objek yang difokuskan, deteksi posisi cengkraman, dan pengenalan personal. Namun, penelitian ini bertanya-tanya apakah kita dapat melakukan lebih dari sekadar merekonstruksi peta lingkungan panoramik tunggal atau menemukan pola-pola dalam cahaya dengan perkembangan terkini dalam penginderaan dan grafika 3D. Apakah mungkin untuk mengembalikan realitas pengamat dalam tiga dimensi?
Penelitian ini menjawab pertanyaan-pertanyaan tersebut dengan menciptakan sebuah adegan 3D dari serangkaian gambar mata. Para peneliti memulai dengan pengetahuan bahwa ketika kepala bergerak secara alami, mata kita menangkap dan memantulkan informasi dari beberapa sudut pandang. Dalam penelitian ini, peneliti dari Universitas Maryland menawarkan teknik baru untuk menciptakan rekonstruksi 3D dari lingkungan pengamat melalui pemindaian mata, menggabungkan penelitian terdahulu dengan perkembangan terbaru dalam penginderaan neural.
Namun, merekonstruksi sebuah NeRF (Neural Radiance Field) 3D dari gambar mata dalam praktiknya tidaklah mudah. Kesulitan pertama adalah pemisahan sumber. Para peneliti harus membedakan antara pantulan dan tekstur iris yang kompleks pada mata manusia. Selain itu, estimasi posisi kornea juga merupakan kesulitan kedua. Mata manusia yang kecil dan sulit untuk diposisikan secara tepat dari pengamatan gambar. Namun, keakuratan posisi dan orientasi 3D dari mata sangat penting untuk rekonstruksi multi-view.
Untuk mengatasi kesulitan ini, para penulis penelitian ini menggunakan NeRF untuk melatih gambar mata dengan menambahkan dua elemen penting: dekomposisi tekstur, yang memudahkan dalam membedakan tekstur iris dari medan radiasi keseluruhan, dan penyempurnaan posisi mata, yang meningkatkan akurasi estimasi posisi mata meskipun kesulitan yang ditimbulkan oleh ukuran kecil mata. Peneliti membuat dataset sintetis dari lingkungan indoor yang kompleks dengan gambar yang merekam pantulan dari kornea buatan dengan tekstur realistis untuk mengevaluasi kinerja dan efektivitas teknik mereka. Mereka juga menggunakan setup dunia nyata dengan beberapa objek untuk memotret mata. Penelitian yang luas dilakukan pada gambar mata buatan dan sebenarnya untuk mendukung beberapa keputusan desain dalam metodologi mereka.
Inovasi ini memperluas cakupan rekonstruksi adegan 3D melalui penginderaan neural untuk menangani pengamatan gambar yang sebagian rusak yang diperoleh dari pantulan mata. Hal ini menciptakan peluang baru untuk penelitian dan pengembangan dalam bidang penginderaan kebetulan untuk mengungkap dan merekam adegan 3D di luar garis pandang yang terlihat.
Disarikan dari: Sumber