Aktivasi Dalam Jaringan Saraf: Pentingnya Fungsi Aktivasi dan Jenisnya
Jaringan saraf merupakan komponen penting dalam bidang pembelajaran mendalam atau deep learning. Fungsi aktivasi dalam jaringan saraf memainkan peran yang sangat vital dalam menentukan akurasi dan efisiensi dari model pelatihan yang digunakan untuk menciptakan atau membagi jaringan saraf berskala besar serta keluaran dari model pembelajaran mendalam. Fungsi aktivasi merupakan alat berharga bagi jaringan saraf karena memungkinkan jaringan saraf untuk fokus pada data yang relevan sementara membuang data yang tidak relevan. Seperti halnya fungsi lainnya, fungsi aktivasi (fungsi transfer) menerima input dan mengembalikan output yang proposional terhadap input tersebut. Fungsi aktivasi dari suatu node dalam jaringan saraf menentukan output dari node tersebut sebagai respons terhadap input tertentu atau grup input.
Fungsi aktivasi efektif memilih neuron mana yang akan diaktifkan atau dinonaktifkan untuk mencapai hasil yang diinginkan. Input juga diubah secara nonlinear untuk meningkatkan kinerja pada jaringan saraf yang kompleks. Informasi apa pun dalam rentang 1 hingga -1 dapat memiliki output yang dinormalisasi dengan fungsi aktivasi. Karena jaringan saraf sering dilatih dengan jutaan data poin, sangat penting bahwa fungsi aktivasi tersebut cepat dan meminimalkan jumlah waktu yang diperlukan untuk menghitung hasil.
Jenis-jenis Fungsi Aktivasi
Jaringan Saraf dibagi menjadi tiga bagian utama yang masing-masing menggunakan jenis fungsi aktivasi yang berbeda.
- Fungsi langkah biner
- Fungsi linear
- Fungsi aktivasi non-linear
- Fungsi sigmoid
- Fungsi ReLU (Rectified Linear Unit)
- Fungsi tanh (Hyperbolic Tangent)
- Fungsi Leaky ReLU
- Fungsi Parametric ReLU
- Fungsi ELU (Exponential Linear Units)
- Fungsi SELU (Scaled Exponential Linear Units)
- Fungsi GELU (Gaussian Error Linear Units)
- Fungsi Softmax
Fungsi langkah biner merupakan fungsi aktivasi yang cukup sederhana, yang digunakan terutama sebagai pengklasifikasi berbasis ambang di mana kita menetapkan nilai ambang untuk menentukan apakah output dari suatu neuron tertentu diaktifkan. Jika nilai input ke fungsi aktivasi lebih besar dari nilai ambang tertentu, neuron diaktifkan, dan outputnya diteruskan ke lapisan tersembunyi berikutnya; jika tidak, neuron dinonaktifkan.
Fungsi aktivasi di mana output sama dengan input disebut fungsi aktivasi linear. Fungsi ini juga disebut “tanpa aktivasi” atau “fungsi identitas” (x1.0). Fungsi ini mengambil jumlah tertimbang dari input dan mengeluarkan nilai tanpa mengubahnya. Dengan kata lain, fungsi ini proporsional terhadap total neuron atau input. Oleh karena itu kita memiliki fungsi aktivasi berupa garis lurus. Menghasilkan rentang aktivasi yang luas lebih efisien dengan menggunakan fungsi aktivasi linear. Sebuah garis dengan kemiringan positif dapat meningkatkan laju pemunculan dalam respons terhadap peningkatan tingkat input.
Terdapat berbagai jenis fungsi aktivasi non-linear yang digunakan dalam jaringan saraf. Beberapa di antaranya adalah:
Fungsi ini menerima bilangan riil sebagai input dan mengembalikan bilangan bulat antara 0 dan 1. Nilai output akan semakin mendekati 1.0 semakin besar (lebih positif) inputnya dan semakin mendekati 0.0 semakin kecil (lebih negatif) inputnya. Oleh karena itu, fungsi ini cocok digunakan dalam model yang outputnya memerlukan prediksi probabilitas.
ReLU adalah fungsi aktivasi yang paling populer saat ini. Fungsi ini mengubah nilai negatif menjadi nol dan mempertahankan nilai positif. Fungsi ReLU sangat efektif dalam mengatasi masalah “dying ReLU” yang dapat terjadi pada fungsi sigmoid dan fungsi aktivasi lainnya.
Fungsi tanh merupakan versi yang ditingkatkan dari fungsi sigmoid. Fungsi ini memiliki rentang output antara -1 hingga 1. Fungsi tanh lebih curam daripada sigmoid, namun juga memiliki masalah vanishing gradient.
Fungsi ini merupakan variasi yang lebih baik dari fungsi ReLU yang dapat digunakan untuk mengatasi masalah “dying ReLU”. Fungsi Leaky ReLU memiliki kemiringan positif pada area nilai negatif, sehingga neuron tidak dinonaktifkan dan masalah “dying ReLU” dapat dihindari.
Fungsi Parametric ReLU merupakan variasi dari fungsi Leaky ReLU yang mencoba menggantikan setengah bagian negatif dari ReLU dengan garis yang memiliki kemiringan.
Fungsi ELU merupakan pilihan lain yang dikenal karena konvergensinya yang cepat dan keluaran berkualitas tinggi. Fungsi ini menggantikan terminal negatif dengan fungsi eksponensial yang dimodifikasi. Namun, penggunaan operasi eksponensial menyebabkan peningkatan waktu pemrosesan.
Fungsi SELU mengatur normalisasi internal dengan memastikan bahwa rata-rata dan varians setiap lapisan tetap konstan. Hal ini memungkinkan normalisasi internal dengan mengubah rata-rata dan varians. Dengan menggunakan normalisasi internal, konvergensi jaringan terjadi lebih cepat dibandingkan dengan normalisasi eksternal.
Fungsi GELU umum digunakan dalam model-model NLP terkenal seperti BERT, ROBERTa, dan ALBERT. Fungsi GELU menggabungkan kelebihan dropout, zoneout, dan ReLU dalam meningkatkan performa pada berbagai tugas dalam bidang computer vision, NLP, dan speech recognition.
Fungsi Softmax digunakan pada lapisan output untuk memberikan nilai probabilitas pada setiap variabel input berdasarkan bobot yang dimilikinya. Fungsi ini menghasilkan output yang berjumlah satu sehingga cocok digunakan pada lapisan output sebagai dasar pengambilan keputusan.
Fungsi aktivasi dalam jaringan saraf memungkinkan jaringan ini untuk mempelajari dan menyesuaikan pola-pola yang kompleks dan non-linear pada data. Dengan menggunakan fungsi aktivasi yang sesuai, jaringan saraf dapat menjadi lebih fleksibel dalam menyelesaikan berbagai permasalahan dan mendapatkan hasil yang akurat.
Disarikan dari: Link