機械学習における過完全な特徴を理解する

過剰完成とは、モデルまたは一連の特徴が複雑すぎて、必要以上にデータの変動が取り込まれている状況を指します。言い換えれば、モデルまたは特徴は、基礎となるパターンではなく、データ内のノイズを適合させることができます。これにより、モデルがトレーニングデータに過度に特化されるため、新しいデータでの汎化パフォーマンスが低下する可能性があります。特徴選択のコンテキストにおいて、過完全とは、データ内の重要な変動を捕捉するために必要以上の特徴が存在する状況を指します。。たとえば、モデルに 100 個の特徴があり、そのうち 20 個だけが実際に問題に関連している場合、残りの 80 個の特徴は過剰であるとみなされます。