Tìm hiểu các kỷ nguyên trong học máy

Trong bối cảnh học máy, một kỷ nguyên đề cập đến một lần lặp lại hoàn chỉnh trên dữ liệu huấn luyện. Trong mỗi kỷ nguyên, mô hình được huấn luyện trên toàn bộ tập dữ liệu và các trọng số được điều chỉnh dựa trên sai số giữa đầu ra dự đoán và đầu ra thực tế.

Ví dụ: nếu bạn có tập dữ liệu với 1000 ví dụ và mô hình của bạn có 1000 tham số, sau đó một kỷ nguyên sẽ liên quan đến việc đào tạo mô hình trên tất cả 1000 mẫu, sử dụng tất cả 1000 tham số để giảm thiểu hàm mất mát.

Số lượng kỷ nguyên là một siêu tham số có thể được điều chỉnh trong quá trình đào tạo. Số lượng kỷ nguyên tối ưu phụ thuộc vào độ phức tạp của vấn đề, kích thước của tập dữ liệu và hiệu suất của mô hình. Nói chung, nhiều kỷ nguyên hơn có thể dẫn đến tình trạng trang bị quá mức, trong đó mô hình trở nên quá chuyên biệt đối với dữ liệu huấn luyện và không khái quát hóa tốt cho các ví dụ mới. Mặt khác, ít kỷ nguyên hơn có thể không cho phép mô hình học đủ từ dữ liệu huấn luyện.

Trong học sâu, các kỷ nguyên thường được sử dụng cùng với các đợt. Lô là tập hợp con của dữ liệu huấn luyện được xử lý cùng nhau trước khi cập nhật trọng số của mô hình. Ví dụ: nếu bạn có một tập dữ liệu với 1000 mẫu và bạn sử dụng kích thước lô là 32 thì một kỷ nguyên sẽ liên quan đến việc đào tạo mô hình trên tất cả 1000 mẫu, nhưng xử lý chúng theo lô 32 mẫu mỗi lần. Điều này có thể giúp giảm chi phí đào tạo tính toán trong khi vẫn cho phép mô hình học hỏi từ toàn bộ tập dữ liệu.