Memahami dan Menghindari Normalisasi Berlebihan dalam Model Pembelajaran Mesin

Normalisasi berlebihan adalah fenomena yang terjadi ketika suatu model dilatih terlalu baik pada data pelatihan, dan akibatnya, model tersebut menjadi terlalu terspesialisasi pada kumpulan data tertentu. Hal ini dapat menyebabkan model berperforma buruk pada data baru yang belum terlihat, karena model tersebut belum mempelajari fitur atau pola yang dapat digeneralisasikan dan dapat diterapkan pada situasi yang lebih luas.

Dengan kata lain, normalisasi berlebihan terjadi ketika model terlalu cocok dengan data pelatihan , dan tidak cukup mempelajari pengetahuan yang dapat digeneralisasikan dari data. Akibatnya, model mungkin tidak dapat melakukan generalisasi dengan baik terhadap data baru yang belum terlihat.

Overnormalisasi dapat disebabkan oleh berbagai faktor, antara lain:

1. Overfitting: Hal ini terjadi ketika model dilatih terlalu baik pada data pelatihan, dan menjadi terlalu terspesialisasi pada kumpulan data spesifik tersebut.
2. Kebocoran data: Hal ini terjadi ketika data pelatihan tidak mewakili distribusi data yang sebenarnya, dan model mempelajari bias dan keterbatasan data pelatihan daripada pola dan hubungan yang mendasarinya.
3. Kompleksitas model: Hal ini terjadi ketika model terlalu kompleks dan memiliki terlalu banyak parameter dibandingkan dengan jumlah data pelatihan yang tersedia.
4. Kurangnya regularisasi: Hal ini terjadi ketika suatu model tidak diberi sanksi yang cukup karena kompleksitasnya, dan model tersebut dibiarkan menyesuaikan dengan gangguan dalam data pelatihan dibandingkan dengan pola dan hubungan yang mendasarinya.

Untuk menghindari normalisasi berlebihan, beberapa teknik dapat digunakan, seperti:

1 . Regularisasi: Ini melibatkan penambahan istilah penalti ke fungsi kerugian untuk mencegah bobot yang besar atau model yang kompleks.
2. Penghentian awal: Ini melibatkan penghentian proses pelatihan sebelum model melebihi data pelatihan.
3. Augmentasi data: Ini melibatkan pembuatan data pelatihan tambahan dengan menerapkan transformasi acak pada data yang ada, seperti rotasi, penskalaan, dan pembalikan.
4. Metode ansambel: Ini melibatkan penggabungan beberapa model untuk meningkatkan generalisasi, seperti bagging dan boosting.
5. Validasi silang: Ini melibatkan pemisahan data menjadi beberapa bagian dan melatih model di satu bagian sambil mengevaluasinya di bagian lainnya.