Assimilator: A Neural Network Architecture for Classification and Regression Tasks

Στο πλαίσιο της μηχανικής μάθησης, ένας εξομοιωτής είναι ένας τύπος αρχιτεκτονικής νευρωνικών δικτύων που έχει σχεδιαστεί για να εκτελεί εργασίες ταξινόμησης και παλινδρόμησης. Ο όρος "αφομοιωτής" επινοήθηκε από ερευνητές της Google, οι οποίοι ανέπτυξαν αυτήν την αρχιτεκτονική ως έναν τρόπο να συνδυάσουν τα δυνατά σημεία των παραδοσιακών μοντέλων ταξινόμησης (όπως η λογιστική παλινδρόμηση) με τις δυνατότητες των βαθιών νευρωνικών δικτύων.

Η βασική ιδέα πίσω από τον αφομοιωτή είναι η χρήση ενός ενιαίο νευρωνικό δίκτυο για την εκτέλεση εργασιών ταξινόμησης και παλινδρόμησης, αντί να χρησιμοποιεί ξεχωριστά μοντέλα για κάθε εργασία. Αυτό επιτρέπει στο μοντέλο να μάθει μια κοινή αναπαράσταση των δεδομένων που μπορεί να χρησιμοποιηθεί και για τους δύο τύπους προβλέψεων, γεγονός που μπορεί να οδηγήσει σε βελτιωμένη απόδοση και πιο αποτελεσματική εκπαίδευση.

Η αρχιτεκτονική του εξομοιωτή αποτελείται από δύο κύρια στοιχεία: έναν κλάδο ταξινόμησης και έναν κλάδο παλινδρόμησης. Ο κλάδος ταξινόμησης είναι συνήθως ένα πλήρως συνδεδεμένο νευρωνικό δίκτυο με ένα στρώμα εξόδου softmax που παράγει μια κατανομή πιθανότητας στις πιθανές κλάσεις. Ο κλάδος παλινδρόμησης είναι επίσης ένα πλήρως συνδεδεμένο νευρωνικό δίκτυο, αλλά δεν έχει στρώμα εξόδου, επομένως μπορεί να χρησιμοποιηθεί για την πρόβλεψη συνεχών τιμών όπως η τιμή ενός προϊόντος. χρησιμοποιώντας έναν συνδυασμό συναρτήσεων απώλειας ταξινόμησης και παλινδρόμησης. Αυτό επιτρέπει στο μοντέλο να μάθει μια κοινή αναπαράσταση των δεδομένων που είναι χρήσιμη και για τις δύο εργασίες, ενώ παράλληλα του επιτρέπει να εξειδικεύεται στις συγκεκριμένες απαιτήσεις κάθε εργασίας.

Ένα πλεονέκτημα του εξομοιωτή είναι ότι μπορεί να είναι πιο αποτελεσματικό από την εκπαίδευση ξεχωριστών μοντέλων για ταξινόμηση και παλινδρόμηση, καθώς απαιτεί μόνο ένα σύνολο παραμέτρων για να μαθευτεί. Επιπλέον, η κοινή αναπαράσταση που μαθαίνει ο εξομοιωτής μπορεί να είναι χρήσιμη για άλλες εργασίες, όπως η ομαδοποίηση ή η ανίχνευση ανωμαλιών.