Sebuah tim peneliti di MIT telah mengembangkan metode untuk menghilangkan bias dalam simulasi berbasis jejak, yang sering digunakan oleh ilmuwan dan analis untuk merancang algoritma dalam berbagai kasus penggunaan. Dengan menggunakan algoritma pembelajaran mesin dan statistik yang didasarkan pada prinsip kausalitas, mereka menciptakan alat yang disebut CasualSim yang memungkinkan simulasi yang tidak bias. Metode ini sangat penting karena dapat meningkatkan desain algoritma secara signifikan, akhirnya mengarah pada model yang lebih baik di bidang seperti peningkatan kualitas video dan kinerja sistem pengolahan data.
Simulasi Berbasis Jejak
Analisis, ilmuwan, dan peneliti sering bergantung pada pendekatan berbasis simulasi untuk menguji algoritma baru karena biaya dan risiko eksperimen di dunia nyata yang tinggi. Namun, simulasi berbasis jejak ini, yang melibatkan mereplikasi skenario miniatur dari data dunia nyata (jejak) sambil mengaktifkan dan menguji komponen yang ditargetkan, dapat secara tidak sadar mencakup bias dan menyebabkan pemilihan algoritma suboptimal.
Para peneliti di MIT telah menyelesaikan tantangan ini dengan menciptakan pendekatan dan alat yang membantu mengatasi bias yang tidak disengaja yang diperkenalkan dalam simulasi uji tersebut. Model pembelajaran mesin mereka menggunakan prinsip inferensi sederhana untuk memahami lebih baik bagaimana perilaku simulasi memengaruhi jejak data. Pendekatan ini membantu mereplikasi jejak data yang tidak bias selama proses uji simulasi.
Peningkatan Algoritma
Kasus penggunaan yang menarik dipilih oleh para peneliti adalah aplikasi streaming video karena data yang sensitif terhadap waktu dan akan menambah kompleksitas masalah, menjadikannya lebih realistis untuk diperiksa. Pada kasus penggunaan ini, algoritma bitrate adaptif digunakan untuk menentukan kualitas video yang akan disampaikan berdasarkan data waktu nyata tentang bandwidth pengguna. Dengan mengumpulkan titik data nyata dari pengguna akhir selama proses streaming video dan menggunakan titik data tersebut sebagai jejak dalam simulasi, para peneliti kemudian dapat memeriksa dengan cermat dampak algoritma bitrate adaptif yang diubah dengan cara yang berbeda pada kinerja jaringan keseluruhan.
Sebelumnya, para peneliti beranggapan bahwa data jejak tidak terpengaruh oleh faktor-faktor yang dimanipulasi dan diubah selama proses simulasi, yang umumnya dikenal sebagai faktor eksogen. Namun, pemikiran ini sering mengarah pada hasil yang tidak bias dan suboptimal dalam skenario dunia nyata dan membuat seluruh uji menjadi tidak valid. Para peneliti memahami dengan benar dampak kesalahan ini dan berupaya untuk memperbaikinya. Alih-alih mendekati masalah secara konvensional, mereka merancangnya sebagai tantangan inferensi kausal.
Saat mengumpulkan jejak yang tidak bias, penting untuk membedakan antara sifat intrinsik dari sistem dan apa yang menjadi efek pada sistem ketika tindakan tertentu dilakukan. Para peneliti menciptakan CasualSim untuk menangani masalah ini. Model pembelajaran mesin ini mempelajari fitur-fitur yang mendasar dari sistem di tempat menggunakan data jejak saja. CasualSim memperkirakan fungsi-fungsi yang mendasari yang menghasilkan data. Ini membantu para peneliti menganalisis bagaimana algoritma baru akan mempengaruhi hasil di bawah kondisi yang sama dengan pengguna.
Keefektifan CasualSim terbukti ketika para peneliti menggunakannya untuk merancang sebuah algoritma bitrate adaptif yang lebih baik. Berbeda dengan prediksi dari simulator berbasis jejak konvensional, CasualSim membantu mereka memilih variasi baru yang mengurangi tingkat terhenti (waktu yang dihabiskan untuk buffering ulang) hampir 1,4 kali dibandingkan dengan algoritma pesaing yang diakui dengan mempertahankan kualitas video yang sama. Pengujian dunia nyata telah membuktikan kinerja yang tangguh dan akurat dari CasualSim.
Kinerja CasualSim lebih lanjut diperhatikan ketika ia membantu meningkatkan akurasi simulasi secara konsisten selama eksperimen 10 bulan, menghasilkan algoritma yang memiliki kesalahan yang signifikan lebih sedikit dari baseline. Para peneliti menaruh harapan dan keyakinan yang besar pada algoritma ini, mengklaim bahwa itu dapat merevolusi desain algoritma, mengarah pada kemajuan lebih lanjut.
Di masa depan, para peneliti di MIT berencana untuk menerapkan CasualSim pada kasus penggunaan di mana data acak tidak tersedia atau di mana memulihkan dinamika kausal sistem sangat menantang. Ini akan menarik untuk melihat bagaimana ia meresap ke dalam algoritma yang ada dan meningkatkan mereka untuk kebaikan serta apakah dapat membentuk pendekatan desain dan berpikir algoritma yang terkenal.
Disarikan dari: Source