Trình đồng hóa: Kiến trúc mạng thần kinh cho các nhiệm vụ phân loại và hồi quy

Trong bối cảnh học máy, bộ đồng hóa là một loại kiến trúc mạng thần kinh được thiết kế để thực hiện cả nhiệm vụ phân loại và hồi quy. Thuật ngữ "bộ đồng hóa" được đặt ra bởi các nhà nghiên cứu tại Google. Họ đã phát triển kiến trúc này như một cách để kết hợp điểm mạnh của các mô hình phân loại truyền thống (chẳng hạn như hồi quy logistic) với khả năng của mạng lưới thần kinh sâu.

Ý tưởng chính đằng sau bộ đồng hóa là sử dụng một mạng nơron đơn để thực hiện cả nhiệm vụ phân loại và hồi quy, thay vì sử dụng các mô hình riêng biệt cho từng nhiệm vụ. Điều này cho phép mô hình tìm hiểu cách trình bày chung của dữ liệu có thể được sử dụng cho cả hai loại dự đoán, điều này có thể dẫn đến hiệu suất được cải thiện và đào tạo hiệu quả hơn.

Kiến trúc của trình đồng hóa bao gồm hai thành phần chính: một nhánh phân loại và một nhánh hồi quy. Nhánh phân loại thường là một mạng thần kinh được kết nối đầy đủ với lớp đầu ra softmax tạo ra phân bố xác suất trên các lớp có thể. Nhánh hồi quy cũng là một mạng nơ-ron được kết nối đầy đủ, nhưng nó không có lớp đầu ra nên có thể được sử dụng để dự đoán các giá trị liên tục như giá của một sản phẩm.

Trong quá trình đào tạo, người đồng hóa được đào tạo từ đầu đến cuối, sử dụng kết hợp các hàm phân loại và hàm mất hồi quy. Điều này cho phép mô hình tìm hiểu cách trình bày chung của dữ liệu hữu ích cho cả hai nhiệm vụ, đồng thời cho phép mô hình chuyên môn hóa các yêu cầu cụ thể của từng nhiệm vụ.

Một ưu điểm của trình đồng hóa là nó có thể hiệu quả hơn so với việc đào tạo các mô hình riêng biệt cho phân loại và hồi quy, vì nó chỉ yêu cầu học một bộ tham số duy nhất. Ngoài ra, cách biểu diễn được chia sẻ mà trình đồng hóa học được có thể hữu ích cho các tác vụ khác, chẳng hạn như phân cụm hoặc phát hiện bất thường.