Assimilator: een neurale netwerkarchitectuur voor classificatie- en regressietaken

In de context van machinaal leren is een assimilator een type neurale netwerkarchitectuur die is ontworpen om zowel classificatie- als regressietaken uit te voeren. De term 'assimilator' werd bedacht door onderzoekers bij Google die deze architectuur ontwikkelden als een manier om de sterke punten van traditionele classificatiemodellen (zoals logistische regressie) te combineren met de mogelijkheden van diepe neurale netwerken. Het sleutelidee achter de assimilator is het gebruik van een één neuraal netwerk om zowel classificatie- als regressietaken uit te voeren, in plaats van voor elke taak afzonderlijke modellen te gebruiken. Hierdoor kan het model een gedeelde representatie van de gegevens leren die voor beide soorten voorspellingen kan worden gebruikt, wat kan leiden tot verbeterde prestaties en efficiëntere training. De assimilatorarchitectuur bestaat uit twee hoofdcomponenten: een classificatietak en een regressietak. De classificatietak is doorgaans een volledig verbonden neuraal netwerk met een softmax-uitvoerlaag die een waarschijnlijkheidsverdeling over de mogelijke klassen produceert. De regressietak is ook een volledig verbonden neuraal netwerk, maar heeft geen outputlaag en kan dus worden gebruikt om continue waarden zoals de prijs van een product te voorspellen. Tijdens de training wordt de assimilator van begin tot eind getraind, met behulp van een combinatie van classificatie- en regressieverliesfuncties. Hierdoor kan het model een gedeelde representatie van de gegevens leren die nuttig is voor beide taken, terwijl het zich ook kan specialiseren in de specifieke vereisten van elke taak. Een voordeel van de assimilator is dat deze efficiënter kan zijn dan het trainen van afzonderlijke modellen voor classificatie en regressie, omdat er slechts één enkele set parameters hoeft te worden geleerd. Bovendien kan de door de assimilator geleerde gedeelde representatie nuttig zijn voor andere taken, zoals clustering of anomaliedetectie.