Übervollständige Funktionen beim maschinellen Lernen verstehen

Unter „Übervollständigkeit“ versteht man eine Situation, in der ein Modell oder eine Reihe von Features zu komplex ist und mehr Variationen in den Daten erfasst als nötig. Mit anderen Worten: Das Modell oder die Merkmale sind in der Lage, das Rauschen in den Daten und nicht die zugrunde liegenden Muster anzupassen. Dies kann zu einer schlechten Generalisierungsleistung bei neuen Daten führen, da das Modell übermä+ig auf die Trainingsdaten spezialisiert wird. Im Zusammenhang mit der Merkmalsauswahl bezieht sich „übervollständig“ auf eine Situation, in der mehr Merkmale vorhanden sind, als zur Erfassung der wichtigen Variationen in den Daten erforderlich sind . Wenn ein Modell beispielsweise über 100 Funktionen verfügt, von denen jedoch nur 20 wirklich für das Problem relevant sind, gelten die anderen 80 Funktionen als übervollständig.