Hiểu sự bất thường trong dữ liệu: Định nghĩa, kỹ thuật và ứng dụng

Điểm bất thường là các điểm dữ liệu nằm ngoài phạm vi giá trị bình thường hoặc dự kiến. Nói cách khác, chúng là những quan sát không phù hợp với mô hình hoặc xu hướng của phần lớn dữ liệu. Điểm bất thường có thể hữu ích trong việc xác định các giá trị ngoại lệ, phát hiện lỗi trong việc thu thập dữ liệu và phát hiện các mô hình hoặc sự kiện bất thường.

Ví dụ: nếu bạn đang phân tích chiều cao của một nhóm người, điểm bất thường có thể là chiều cao 7 feet khi chiều cao trung bình là khoảng 5 feet 10 inch. Tương tự, nếu bạn đang phân tích giá cổ phiếu, một điểm bất thường có thể là sự tăng vọt về giá cao hơn nhiều so với những biến động thông thường.

Có một số kỹ thuật để xác định những điểm bất thường trong dữ liệu, bao gồm:

1. Phương pháp thống kê: Các phương pháp này sử dụng các kỹ thuật thống kê như giá trị trung bình, trung vị và độ lệch chuẩn để xác định các điểm dữ liệu nằm ngoài phạm vi dự kiến.
2. Thuật toán học máy: Các thuật toán này có thể được đào tạo trên dữ liệu thông thường để nhận dạng các mẫu và phát hiện sự bất thường dựa trên độ lệch so với các mẫu đó.
3. Phương pháp dựa trên quy tắc: Các phương pháp này sử dụng các quy tắc được xác định trước để xác định các điểm dữ liệu nằm ngoài phạm vi dự kiến hoặc vi phạm một số điều kiện nhất định.
4. Phương pháp kết hợp: Các phương pháp này kết hợp các kỹ thuật thống kê, học máy và dựa trên quy tắc để xác định điểm bất thường.

Một số ứng dụng phổ biến của phát hiện điểm bất thường bao gồm:

1. Phát hiện gian lận: Phát hiện bất thường có thể được sử dụng để xác định các giao dịch hoặc hoạt động gian lận nằm ngoài các mô hình hành vi thông thường.
2. Kiểm soát chất lượng: Tính năng phát hiện bất thường có thể được sử dụng để xác định các khiếm khuyết hoặc sai sót trong sản phẩm hoặc quy trình không đáp ứng các tiêu chuẩn mong đợi.
3. Bảo trì dự đoán: Tính năng phát hiện bất thường có thể được sử dụng để xác định các mẫu bất thường trong dữ liệu cảm biến máy có thể cho biết thiết bị sắp xảy ra lỗi.
4. Theo dõi sức khỏe: Tính năng phát hiện bất thường có thể được sử dụng để xác định các mẫu bất thường trong dữ liệu sức khỏe có thể chỉ ra bệnh tật.