Inzicht in overcomplete functies in Machine Learning

Overcompleet verwijst naar een situatie waarin een model of een reeks kenmerken te complex is en meer variatie in de gegevens vastlegt dan nodig is. Met andere woorden: het model of de kenmerken kunnen de ruis in de gegevens aanpassen in plaats van de onderliggende patronen. Dit kan leiden tot slechte generalisatieprestaties op nieuwe gegevens, omdat het model te gespecialiseerd raakt in de trainingsgegevens. In de context van kenmerkselectie verwijst overvolledig naar een situatie waarin er meer kenmerken zijn dan nodig zijn om de belangrijke variaties in de gegevens vast te leggen. . Als een model bijvoorbeeld 100 kenmerken heeft, maar slechts 20 daarvan zijn echt relevant voor het probleem, dan worden de overige 80 kenmerken als overcompleet beschouwd.