Κατανόηση του Scrubbiness σε Μοντέλα Γραμμικής Παλινδρόμησης

Το Scrubbiness είναι ένα μέτρο του πόσο καλά ένα μοντέλο μπορεί να αφαιρέσει το θόρυβο από τα δεδομένα. Ορίζεται ως ο λόγος της διακύμανσης των υπολειμμάτων (η διαφορά μεταξύ των προβλεπόμενων και των πραγματικών τιμών) προς τη διακύμανση των αρχικών δεδομένων. Μια υψηλότερη τιμή καθαρισμού υποδηλώνει ότι το μοντέλο είναι καλύτερο στην αφαίρεση του θορύβου, ενώ μια χαμηλότερη τιμή καθαρισμού υποδηλώνει ότι το μοντέλο είναι πιο θορυβώδες.

Στην περίπτωσή σας, χρησιμοποιείτε ένα μοντέλο γραμμικής παλινδρόμησης για να προβλέψετε την τιμή ενός σπιτιού με βάση τα χαρακτηριστικά του. Η διασπορά του μοντέλου μπορεί να υπολογιστεί ως εξής:

Scrubbiness = (Variance of residuals) / (Variance of original data)

όπου η διακύμανση των υπολειμμάτων είναι ο μέσος όρος των τετράγωνων διαφορών μεταξύ των προβλεπόμενων τιμών και των πραγματικών τιμών και η διακύμανση των αρχικών δεδομένων είναι ο μέσος όρος των τετράγωνων διαφορών μεταξύ κάθε χαρακτηριστικού και της μέσης τιμής του.

Για παράδειγμα, εάν η διακύμανση των υπολειμμάτων είναι 100 και η διακύμανση των αρχικών δεδομένων είναι 1000, τότε η καθαρότητα του μοντέλου θα ήταν:

Εξάλειψη = (100) / (1000) = 0,1

Αυτό σημαίνει ότι το μοντέλο μπορεί να αφαιρέσει μόνο το 10% του θορύβου από τα δεδομένα και εξακολουθεί να υπάρχει πολύς θόρυβος στις προβλέψεις.

Είναι σημαντικό να σημειωθεί ότι ο καθαρισμός δεν είναι ένα μέτρο της ακρίβειας του μοντέλου, αλλά μάλλον ένα μέτρο του πόσο καλά το μοντέλο μπορεί να αφαιρέσει το θόρυβο από τα δεδομένα. Ένα μοντέλο με υψηλή ακρίβεια μπορεί να εξακολουθεί να έχει χαμηλό καθαρισμό εάν είναι πολύ ευαίσθητο στο θόρυβο στα δεδομένα.