Comprendre les fonctionnalités surcomplètes dans l'apprentissage automatique

Le surcomplet fait référence à une situation dans laquelle un modèle ou un ensemble de fonctionnalités est trop complexe et capture plus de variations dans les données que nécessaire. En d’autres termes, le modèle ou les fonctionnalités sont capables de s’adapter au bruit présent dans les données plutôt qu’aux modèles sous-jacents. Cela peut conduire à de mauvaises performances de généralisation sur les nouvelles données, car le modèle devient trop spécialisé sur les données d'entraînement.

Dans le contexte de la sélection de fonctionnalités, le terme trop complet fait référence à une situation dans laquelle il y a plus de fonctionnalités que nécessaire pour capturer les variations importantes dans les données. . Par exemple, si un modèle comporte 100 fonctionnalités mais que seulement 20 d’entre elles sont réellement pertinentes pour le problème, alors les 80 autres fonctionnalités sont considérées comme trop complètes.