डेटा विश्लेषण में आउटलेर्स को समझना और संभालना

आउटलायर एक डेटा बिंदु है जो डेटासेट में अन्य डेटा बिंदुओं से बहुत अलग है। आउटलेर्स को उनके चरम मूल्यों से पहचाना जा सकता है, बाकी डेटा की तुलना में या तो अधिक या कम। कुछ मामलों में, आउटलेर्स डेटा संग्रह में त्रुटियों या असामान्य घटनाओं का प्रतिनिधित्व कर सकते हैं जो विशिष्ट व्यवहार को प्रतिबिंबित नहीं करते हैं। आउटलेर्स सांख्यिकीय विश्लेषण पर महत्वपूर्ण प्रभाव डाल सकते हैं और यदि उन्हें ठीक से प्रबंधित नहीं किया जाता है तो परिणाम खराब हो सकते हैं। उदाहरण के लिए, यदि किसी प्रतिगमन विश्लेषण में एक बाहरी वस्तु को शामिल किया जाता है, तो यह प्रतिगमन रेखा के ढलान को बहुत प्रभावित कर सकता है, जिससे संभावित रूप से गलत भविष्यवाणियां हो सकती हैं। इसलिए, डेटा का विश्लेषण करते समय आउटलेर्स को उचित रूप से पहचानना और संभालना महत्वपूर्ण है।

आउटलेर्स को पहचानने और संभालने के लिए कई तरीके हैं, जिनमें शामिल हैं:

1. दृश्य निरीक्षण: स्कैटर प्लॉट या हिस्टोग्राम पर डेटा को प्लॉट करने से डेटा के वितरण की कल्पना करके आउटलेर्स की पहचान करने में मदद मिल सकती है।
2। सांख्यिकीय विधियाँ: माध्य या माध्यिका से विचलन के आधार पर आउटलेर्स की पहचान करने के लिए z-स्कोर, संशोधित Z-स्कोर, या घनत्व-आधारित विधियों जैसी सांख्यिकीय तकनीकों का उपयोग करना।
3। बॉक्सप्लॉट: बॉक्सप्लॉट डेटा के वितरण का एक ग्राफिकल प्रतिनिधित्व है जो माध्यिका, चतुर्थक और आउटलेर्स को उजागर करता है।
4। महालनोबिस दूरी: यह विधि एक दूरी मीट्रिक का उपयोग करती है जो चर के बीच सहसंबंधों को ध्यान में रखती है, जो इसे मानक विचलन का उपयोग करने से अधिक मजबूत बनाती है।
5। मजबूत प्रतिगमन: यह विधि डेटा बिंदुओं को उनकी विश्वसनीयता के आधार पर भारित करके आउटलेर्स को संभालने के लिए एक मजबूत अनुमान तकनीक का उपयोग करती है।
6. विनर की विधि: इस विधि का उपयोग डेटा के न्यूनतम और अधिकतम मूल्यों की गणना करके और फिर इन सीमाओं के बाहर आने वाले बिंदुओं की पहचान करके डेटासेट में आउटलेर्स की पहचान करने के लिए किया जाता है।
7. अलगाव वन: यह विधि डेटा का घनत्व-आधारित अनुमान बनाकर आउटलेर्स की पहचान करने के लिए निर्णय पेड़ों के एक समूह का उपयोग करती है।
8। स्थानीय आउटलेयर फैक्टर (एलओएफ): इस पद्धति का उपयोग प्रत्येक बिंदु के स्थानीय घनत्व की गणना करके आउटलेर्स की पहचान करने के लिए किया जाता है और फिर कम घनत्व वाले बिंदुओं को आउटलेर्स के रूप में पहचाना जाता है। यह ध्यान रखना महत्वपूर्ण है कि सभी आउटलेर्स त्रुटियां या विसंगतियां नहीं हैं, कुछ हो सकते हैं वैध डेटा बिंदु जो दुर्लभ घटनाओं या असामान्य व्यवहार का प्रतिनिधित्व करते हैं। इसलिए, कोई भी कार्रवाई करने से पहले डेटा का सावधानीपूर्वक मूल्यांकन करना और यह निर्धारित करना महत्वपूर्ण है कि बाहरी चीज़ वैध है या नहीं।