Ylinormalisoinnin ymmärtäminen ja välttäminen koneoppimismalleissa

Ylinormalisointi on ilmiö, joka tapahtuu, kun mallia on harjoiteltu liian hyvin harjoitusdatalle, ja sen seurauksena siitä tulee liian erikoistunut kyseiseen tietojoukkoon. Tämä voi saada mallin toimimaan huonosti uudella, näkemättömällä tiedolla, koska se ei ole oppinut yleistettäviä ominaisuuksia tai malleja, jotka soveltuvat useampaan tilanteisiin.

Toisin sanoen ylinormalisointi tapahtuu, kun malli sopii liian tarkasti harjoitusdataan , eikä se opi tiedoista tarpeeksi yleistettävissä olevaa tietoa. Tämän seurauksena malli ei ehkä pysty yleistämään hyvin uuteen, näkymättömään dataan.

Ylinormalisoituminen voi johtua useista tekijöistä, mukaan lukien:

1. Ylisovitus: Tämä tapahtuu, kun mallia on opetettu liian hyvin harjoitustietojen perusteella ja siitä tulee liian erikoistunut kyseiseen tietojoukkoon.
2. Tietovuoto: Tämä tapahtuu, kun opetusdata ei edusta tietojen todellista jakautumista ja malli oppii harjoitustietojen harhaa ja rajoituksia taustalla olevien kuvioiden ja suhteiden sijaan.
3. Mallin monimutkaisuus: Tämä tapahtuu, kun malli on liian monimutkainen ja siinä on liian monta parametria suhteessa käytettävissä olevan koulutusdatan määrään.
4. Säännöstön puute: Tämä tapahtuu, kun mallia ei rangaista tarpeeksi monimutkaisuudesta ja sen sallitaan sovittaa kohina harjoitustietoihin taustalla olevien kuvioiden ja suhteiden sijaan.

Ylinormalisoinnin välttämiseksi voidaan käyttää useita tekniikoita, kuten:

1 . Säännöllistäminen: Tämä sisältää sakkotermin lisäämisen tappiofunktioon suurten painojen tai monimutkaisten mallien estämiseksi.
2. Varhainen pysäytys: Tämä tarkoittaa koulutusprosessin pysäyttämistä ennen kuin malli ylisovittaa harjoitustiedot.
3. Tietojen lisäys: Tämä sisältää lisäharjoitteludatan luomisen soveltamalla olemassa olevaan dataan satunnaisia muunnoksia, kuten kiertoa, skaalausta ja kääntämistä.
4. Ensemble-menetelmät: Tämä sisältää useiden mallien yhdistämisen yleistyksen parantamiseksi, kuten pussittaminen ja tehostaminen.
5. Ristiintarkistus: Tämä sisältää tietojen jakamisen useisiin taitoksiin ja mallin harjoittelemisen yhdellä taitolla samalla, kun sitä arvioidaan jäljellä olevissa taitoksissa.