Понимание функций переполнения в машинном обучении

Чрезмерное завершение относится к ситуации, когда модель или набор функций слишком сложны и фиксируют больше вариаций данных, чем необходимо. Другими словами, модель или функции способны соответствовать шуму в данных, а не лежащим в основе закономерностям. Это может привести к плохой эффективности обобщения новых данных, поскольку модель становится чрезмерно специализированной для обучающих данных. . Например, если модель имеет 100 функций, но только 20 из них действительно имеют отношение к проблеме, то остальные 80 функций считаются избыточными.