Metode Self-Supervised untuk Estimasi Arus Scene 3D Menggunakan SPFlowNet
Metode estimasi arus scene, yang bertujuan untuk memperkirakan gerakan antara dua frame suksesi awan titik, menjadi hal yang penting bagi berbagai aplikasi, mulai dari memperkirakan gerakan objek di sekitar kendaraan otonom hingga menganalisis gerakan olahraga. Pengembangan sensor 3D, seperti Lidar atau kamera stereo-vision, telah merangsang penelitian tentang topik estimasi arus scene 3D. Dalam sebuah makalah dari Universitas Sains dan Teknologi Nanjing, peneliti di China memperkenalkan pendekatan self-supervised end-to-end yang baru untuk estimasi arus scene.
Secara tradisional, tugas ini dilakukan dalam dua langkah: mengidentifikasi titik atau kelompok yang menarik (yang dapat bergerak) dalam awan titik dan kemudian memperkirakan arus berdasarkan perpindahan titik yang dihitung. Estimasi kelompok awan titik biasanya bergantung pada algoritma yang dibuat secara manual, yang dapat menghasilkan hasil yang tidak akurat untuk scene yang kompleks. Setelah awan titik dihasilkan oleh algoritma ini, mereka tetap tetap selama langkah estimasi arus, mengarah ke propagasi kesalahan potensial dari waktu ke waktu dan estimasi arus yang tidak akurat. Ini dapat terjadi ketika titik dengan pola aliran yang berbeda – misalnya, titik yang terkait dengan dua objek yang bergerak dengan kecepatan yang berbeda – ditugaskan ke superpoint yang sama. Pendekatan terbaru telah menjelajahi penggunaan metode terawasi yang menggunakan jaringan saraf yang dalam untuk memperkirakan arus dari awan titik secara langsung, tetapi kelangkaan data ground-truth yang dilabeli untuk arus membuat pelatihan model-model ini menantang. Untuk mengatasi masalah ini, metode pembelajaran self-supervised telah muncul baru-baru ini sebagai kerangka kerja yang menjanjikan untuk pembelajaran arus scene end-to-end dari awan titik.
Dalam makalah mereka, penulis mengusulkan SPFlowNet (Super Points Flow guided scene estimation), pendekatan end-to-end untuk segmentasi titik, berdasarkan pekerjaan yang ada dari SPNet. SPFlowNet mengambil sebagai masukan dua awan titik suksesi, P dan Q (masing-masing berisi titik tiga dimensi), dan berusaha memperkirakan arus ke kedua arah (dari P ke Q dan dari Q ke P). Yang membedakan pendekatan ini dari yang lain adalah proses penyempurnaan arus yang digunakan, yang memungkinkan pembaruan dinamis dari superpoints dan arus. Proses ini melibatkan iterasi yang memperkirakan pasangan Arus F_t. Metode ini dapat diringkas sebagai berikut:
– Pada awalnya (t=0), encoder fitur diterapkan pada awan titik P dan Q, yang menghitung tebakan awal dari pasangan arus, F₀. Kedua awan titik dan perkiraan arus kemudian dimasukkan ke dalam algoritma yang disebut pembuatan sampel titik terjauh (FPS), yang menugaskan superpoints ke setiap awan titik.
– Untuk t>0, arus yang diperkirakan F_t dan superpoints diperbarui secara iteratif seperti yang digambarkan dalam gambar di bawah ini. Proses penyempurnaan arus menggunakan estimasi superpoint terbaru untuk menghitung F_t, yang selanjutnya digunakan untuk menghitung pasangan awan superpoint, SP_t. Kedua proses melibatkan operator yang dapat dipelajari.
Pelatihan jaringan saraf melibatkan fungsi kerugian tertentu, L, yang termasuk kerugian Chamfer yang teratur dengan hukuman pada kelancaran dan konsistensi arus. Kerugian Chamfer diberikan oleh persamaan berikut:
Di sini, titik dari P’ merujuk pada titik awan P, yang dipindahkan oleh arus diperkirakan F_t.
Pendekatan ini secara keseluruhan dapat dianggap sebagai self-supervised karena tidak memerlukan adanya ground-truth dalam fungsi kerugian yang diprediksi. Namun, seperti yang dibahas dalam makalah, beberapa parameter tetap disesuaikan secara manual, termasuk fungsi kerugian tidak diawasi, jumlah iterasi, T, dan jumlah pusat superpoints, K, yang dipertimbangkan.
Keuntungan Metode SPFlowNet
Dalam kesimpulannya, SPFlowNet menunjukkan kemajuan signifikan dalam estimasi arus scene 3D, menawarkan hasil terbaik dalam benchmark yang dipertimbangkan dengan perangkat keras yang cukup sederhana. Pembaruan dinamis arus dan superpointsnya menangani masalah akurasi yang penting dalam metodologi saat ini. Kerja ini memamerkan potensi pembelajaran self-supervised untuk memajukan aplikasi di mana penangkapan gerakan yang tepat penting.
Disarikan dari: Citation