Pemanfaatan Refleksi Benda untuk Menciptakan Gambar Lingkungan Nyata
Peneliti visi komputer dari MIT dan Rice telah mengembangkan sebuah metode yang menggunakan refleksi benda untuk menghasilkan gambar lingkungan nyata. Dengan menggunakan refleksi, mereka mengubah benda berkilau menjadi “kamera”, memberikan kesan bahwa pengguna sedang melihat dunia melalui “lensa” dari benda-benda yang umum seperti cangkir keramik atau paperweight logam. Metode yang digunakan peneliti melibatkan mengubah benda-benda berkilau dengan geometri yang tidak dapat ditentukan menjadi kamera medan radiance. Ide utamanya adalah menggunakan permukaan objek sebagai sensor digital untuk merekam cahaya yang dipantulkan dari lingkungan sekitarnya dalam dua dimensi.
Pemulihan Medan Radiance Lingkungan
Peneliti visi komputer berhasil memperlihatkan bahwa sintesis pandangan baru, yaitu proses merender pandangan baru yang hanya terlihat langsung oleh objek mengkilap di dalam scene, namun tidak terlihat oleh pengamat, memungkinkan berkat pemulihan medan radiance lingkungan. Selain dari pandangan lapangan, sintesis pandangan baru juga memungkinkan untuk memperkirakan keberadaan benda-benda yang terhalang oleh objek lain di sekitar lingkungan. Metode yang dikembangkan peneliti diajarkan dari awal hingga akhir menggunakan banyak foto objek untuk secara simultan memperkirakan geometri, radiance difus, dan medan radiance lingkungan 5D-nya. Penelitian bertujuan untuk memisahkan objek dari refleksinya sehingga objek dapat “melihat” dunia seolah-olah ia adalah kamera dan merekam lingkungannya.
Mengatasi Hambatan Refleksi
Visi komputer telah lama berjuang dengan refleksi karena mereka merupakan representasi 2D yang terdistorsi dari sebuah scene 3D yang bentuknya tidak diketahui. Peneliti memodelkan permukaan objek sebagai sensor virtual, mengumpulkan proyeksi 2D medan radiance lingkungan 5D di sekitar objek untuk membuat representasi 3D dari dunia seperti yang dilihat oleh objek tersebut. Kebanyakan medan radiance lingkungan terhalang kecuali melalui refleksi objek. Di luar lapangan pandang, sintesis pandangan baru atau merender pandangan baru yang hanya terlihat langsung oleh objek mengkilap di dalam scene, dimungkinkan berkat penggunaan medan radiance lingkungan, yang juga memungkinkan untuk memperkirakan kedalaman dan radiance dari objek ke lingkungan sekitarnya.
ORCa (Objects such as Radiance-Field Cameras) adalah singkatan dari proses tiga tahap yang digunakan peneliti. ORCa dapat merekam refleksi multiview dengan memotret objek dari berbagai sudut, yang kemudian digunakan untuk memperkirakan kedalaman antara objek mengkilap dan objek lain di dalam scene serta bentuk objek mengkilap itu sendiri. Model medan radiance 5D ORCa mengambil informasi lebih akurat tentang kedalaman sehingga dapat menghasilkan estimasi yang lebih presisi.
Memperluas Definisi Medan Radiance
Dengan memperluas definisi medan radiance di luar medan radiance garis pandang langsung, peneliti dapat membuka jalan baru untuk pengamatan lingkungan dan objek di dalamnya. Dengan menggunakan proyeksi pandangan virtual dan kedalaman, pekerjaan tersebut dapat membuka kemungkinan dalam penyisipan objek virtual dan persepsi 3D, seperti ekstrapolasi informasi dari luar lapangan pandang kamera.
Dalam kesimpulannya, tim tersebut berhasil memperlihatkan bagaimana permukaan implisit dapat diubah menjadi sensor virtual dengan kemampuan untuk merekam gambar 3D dari lingkungan sekitarnya menggunakan konus virtual. Bersama-sama, mereka menghitung medan radiance ambient 5D objek dan memperkirakan radiance difusnya. Mereka memperlihatkan cara menggunakan medan cahaya lingkungan sekitar untuk menghasilkan sudut pandang baru yang tidak terlihat oleh mata manusia. Proyek ini bertujuan untuk merekonstruksi medan radiance 5D dari lingkungan sekitar dari banyak foto objek mengkilau yang bentuk dan albedonya tidak diketahui. Glare dari permukaan reflektif mengungkapkan elemen scene di luar frame pandang. Khususnya, permukaan normal dan lengkungan dari objek mengkilap menentukan bagaimana gambar pengamat dipetakan ke dunia nyata.
ORCa dapat membuat perkiraan kedalaman lebih presisi berkat data dalam medan radiance 5D-nya. Karena scene ditampilkan sebagai medan radiance 5D daripada gambar 2D, pengguna dapat melihat detail yang biasanya terhalang oleh sudut atau hambatan lain. Setelah ORCa mengumpulkan medan radiance 5D, pengguna dapat menempatkan kamera virtual di mana saja di dalam lingkungan dan menghasilkan gambar sintetis yang akan dihasilkan kamera itu. Pengguna juga dapat mengubah penampilan suatu objek, misalnya dari keramik menjadi logam, atau memasukkan objek virtual ke dalam scene.
Disarikan dari: Source