理解机器学习中的过完备特征

过度完备是指模型或一组特征过于复杂并且捕获的数据变化多于必要的情况。换句话说，模型或特征能够拟合数据中的噪声，而不是底层模式。这可能会导致新数据的泛化性能较差，因为模型对训练数据过于专业化。在特征选择的背景下，过完备是指特征数量多于捕获数据中重要变化所需的特征的情况。例如，如果一个模型有 100 个特征，但其中只有 20 个与问题真正相关，那么其他 80 个特征被认为是过完备的。