Apa itu regularisasi?

/ / Diterbitkan di Kecerdasan Buatan, Pembelajaran Mesin Google Cloud EITC/AI/GCML, Langkah pertama dalam Pembelajaran Mesin, 7 langkah pembelajaran mesin

Regularisasi dalam konteks pembelajaran mesin merupakan teknik penting yang digunakan untuk meningkatkan kinerja generalisasi model, khususnya saat menangani data berdimensi tinggi atau model kompleks yang rentan terhadap overfitting. Overfitting terjadi saat model mempelajari tidak hanya pola dasar dalam data pelatihan tetapi juga gangguan, yang mengakibatkan kinerja yang buruk pada data yang tidak terlihat. Regularisasi memperkenalkan informasi atau batasan tambahan pada model untuk mencegah overfitting dengan memberi hukuman pada model yang terlalu kompleks.

Ide mendasar di balik regularisasi adalah untuk memasukkan istilah penalti ke dalam fungsi kerugian yang coba diminimalkan oleh model. Istilah penalti ini mencegah model menyesuaikan gangguan dalam data pelatihan dengan membebankan biaya pada kompleksitas, yang biasanya diukur berdasarkan besarnya parameter model. Dengan demikian, regularisasi membantu mencapai keseimbangan antara menyesuaikan data pelatihan dengan baik dan mempertahankan kemampuan model untuk melakukan generalisasi ke data baru.

Ada beberapa jenis teknik regularisasi yang umum digunakan dalam machine learning, dengan yang paling umum adalah regularisasi L1, regularisasi L2, dan dropout. Masing-masing teknik ini memiliki karakteristik dan aplikasinya sendiri.

1. Regularisasi L1 (Regresi Lasso): Regularisasi L1 menambahkan penalti yang sama dengan nilai absolut dari besarnya koefisien pada fungsi kerugian. Secara matematis, hal ini dapat direpresentasikan sebagai:

    \[ L(\theta) = L_0(\theta) + \lambda \jumlah_{i=1}^{n} |\theta_i| \]

dimana L_0(\teta) adalah fungsi kerugian asli, \ lambda adalah parameter regularisasi, dan \theta_i adalah parameter model. Efek dari regularisasi L1 adalah cenderung menghasilkan model yang jarang, artinya ia mendorong beberapa koefisien ke nol, yang secara efektif menjalankan pemilihan fitur. Ini dapat sangat berguna ketika berhadapan dengan data berdimensi tinggi di mana banyak fitur mungkin tidak relevan.

2. Regularisasi L2 (Regresi Ridge): Regularisasi L2 menambahkan penalti yang sama dengan kuadrat besarnya koefisien pada fungsi kerugian. Secara matematis, hal ini dinyatakan sebagai:

    \[ L(\theta) = L_0(\theta) + \lambda \jumlah_{i=1}^{n} \theta_i^2 \]

Regularisasi L2 menghambat koefisien yang besar dengan memberikan penalti pada nilai kuadratnya, yang menghasilkan sekumpulan bobot yang terdistribusi secara lebih merata. Tidak seperti L1, regularisasi L2 tidak menghasilkan model yang jarang, karena tidak memaksa koefisien menjadi nol, tetapi justru membuatnya tetap kecil. Hal ini sangat berguna untuk menghindari overfitting ketika semua fitur memiliki relevansi.

3. Regularisasi Bersih Elastis: Elastic Net menggabungkan regularisasi L1 dan L2. Hal ini khususnya berguna dalam situasi di mana terdapat beberapa fitur yang berkorelasi. Penalti Elastic Net merupakan kombinasi linear dari penalti L1 dan L2:

    \[ L(\theta) = L_0(\theta) + \lambda_1 \jumlah_{i=1}^{n} |\theta_i| + \lambda_2 \jumlah_{i=1}^{n} \theta_i^2 \]

Dengan menyetel parameter Bahasa Indonesia: \lambda_1 dan Bahasa Indonesia: \lambda_2Elastic Net dapat menyeimbangkan manfaat regularisasi L1 dan L2.

4. Keluar: Dropout adalah teknik regularisasi yang dirancang khusus untuk jaringan neural. Selama pelatihan, dropout secara acak menetapkan sebagian node (neuron) dalam satu lapisan menjadi nol pada setiap iterasi. Hal ini mencegah jaringan terlalu bergantung pada satu node dan mendorong jaringan untuk mempelajari fitur yang lebih tangguh. Dropout sangat efektif dalam model pembelajaran mendalam di mana overfitting merupakan masalah umum karena banyaknya parameter.

5. Penghentian Awal: Meskipun bukan teknik regularisasi dalam pengertian tradisional, penghentian dini merupakan strategi untuk mencegah overfitting dengan menghentikan proses pelatihan setelah kinerja pada set validasi mulai menurun. Hal ini khususnya berguna dalam metode iteratif seperti penurunan gradien di mana model terus diperbarui.

Regularisasi sangat penting dalam pembelajaran mesin karena memungkinkan model untuk bekerja dengan baik pada data yang tidak terlihat dengan mengendalikan kompleksitasnya. Pemilihan teknik regularisasi dan penyetelan parameternya (\ lambda untuk L1 dan L2, tingkat putus sekolah) penting dan sering kali memerlukan eksperimen dan validasi silang untuk mencapai hasil optimal.

Misalnya, pertimbangkan model regresi linier yang dilatih pada kumpulan data dengan banyak fitur. Tanpa regularisasi, model mungkin menetapkan bobot yang besar pada beberapa fitur, sehingga sangat sesuai dengan data pelatihan tetapi berkinerja buruk pada data pengujian karena overfitting. Dengan menerapkan regularisasi L2, model didorong untuk mendistribusikan bobot secara lebih merata, yang berpotensi menghasilkan generalisasi yang lebih baik pada data baru.

Dalam skenario lain, jaringan saraf yang dilatih pada data gambar mungkin melakukan overfitting dengan mengingat pola-pola tertentu dalam gambar pelatihan. Dengan menerapkan dropout, jaringan dipaksa untuk mempelajari fitur-fitur yang lebih umum yang berguna di berbagai gambar, sehingga meningkatkan kinerjanya pada data yang tidak terlihat.

Regularisasi merupakan konsep mendasar dalam machine learning yang membantu mencegah overfitting dengan menambahkan penalti untuk kompleksitas pada fungsi kerugian model. Dengan mengendalikan kompleksitas model, teknik regularisasi seperti L1, L2, Elastic Net, dropout, dan early stopped memungkinkan generalisasi yang lebih baik ke data baru, menjadikannya alat yang sangat diperlukan dalam perangkat praktisi machine learning.

Pertanyaan dan jawaban terbaru lainnya tentang Pembelajaran Mesin Google Cloud EITC/AI/GCML:

Lihat pertanyaan dan jawaban lainnya di EITC/AI/GCML Google Cloud Machine Learning

Lebih banyak pertanyaan dan jawaban:

Di bawah: , , , , ,