데이터 분석의 이상값 이해 및 처리
이상값은 데이터 세트의 다른 데이터 포인트와 크게 다른 데이터 포인트입니다. 이상값은 나머지 데이터보다 높거나 낮은 극값으로 식별할 수 있습니다. 경우에 따라 이상값은 데이터 수집의 오류나 일반적인 동작을 반영하지 않는 비정상적인 이벤트를 나타낼 수 있습니다. 예를 들어 회귀 분석에 이상치가 포함되면 회귀선의 기울기에 큰 영향을 미쳐 잠재적으로 부정확한 예측이 발생할 수 있습니다. 따라서 데이터를 분석할 때 이상값을 적절하게 식별하고 처리하는 것이 중요합니다.
다음을 포함하여 이상값을 식별하고 처리하는 여러 가지 방법이 있습니다.
1. 시각적 검사: 분산형 차트 또는 히스토그램에 데이터를 표시하면 데이터 분포를 시각화하여 이상값을 식별하는 데 도움이 될 수 있습니다.
2. 통계적 방법: z-점수, 수정된 Z-점수 또는 밀도 기반 방법과 같은 통계 기술을 사용하여 평균 또는 중앙값과의 편차를 기반으로 이상값을 식별합니다.
3. 상자 그림: 상자 그림은 중앙값, 사분위수 및 이상값을 강조하는 데이터 분포를 그래픽으로 표현한 것입니다.
4. Mahalanobis 거리: 이 방법은 변수 간의 상관 관계를 고려하는 거리 측정법을 사용하므로 표준 편차를 사용하는 것보다 더 강력합니다.
5. 강력한 회귀: 이 방법은 신뢰성을 기반으로 데이터 포인트에 가중치를 부여하여 이상값을 처리하는 강력한 추정 기술을 사용합니다.
6. Winor의 방법: 이 방법은 데이터의 최소값과 최대값을 계산한 다음 이러한 범위를 벗어나는 점을 식별하여 데이터세트에서 이상값을 식별하는 데 사용됩니다.
7. Isolation Forest: 이 방법은 의사결정 트리의 앙상블을 사용하여 데이터의 밀도 기반 추정치를 생성하여 이상값을 식별합니다.
8. LOF(Local Outlier Factor): 이 방법은 각 점의 국소 밀도를 계산한 다음 밀도가 낮은 점을 이상값으로 식별하여 이상값을 식별하는 데 사용됩니다. 드문 사건이나 비정상적인 행동을 나타내는 유효한 데이터 포인트입니다. 따라서 조치를 취하기 전에 데이터를 신중하게 평가하고 이상치가 타당한지 여부를 판단하는 것이 중요합니다.
이 동영상이 마음에 듭니다.
이 동영상이 마음에 들지 않습니다.
콘텐츠 오류 보고
공유
