Bài 54 · 2 phút
Overfitting: thuộc đáp án mà không hiểu bài
Model bị overfitting khi nó học thuộc ví dụ huấn luyện kỹ đến mức gặp cái mới là sai.
Mục tiêu của huấn luyện là học ra quy luật chung. Một model nhận diện mèo phải nhận ra được cả con mèo nó chưa gặp bao giờ, ở tư thế khác, dưới ánh sáng khác.
Đôi khi model lại bám vào chi tiết vụn vặt của bộ dữ liệu. Chẳng hạn mọi ảnh mèo nó từng thấy đều chụp trong nhà, thế là nó kết luận cứ có ghế sofa là có mèo. Với đúng những ảnh đó, nó đạt điểm tuyệt đối, còn gặp ảnh thật thì vấp.
Người làm AI phòng chuyện này bằng cách kiểm tra model trên dữ liệu nó chưa thấy lúc huấn luyện, thêm ví dụ đa dạng hơn, và dừng huấn luyện trước khi model bắt đầu học vẹt.
Nó cũng giải thích vì sao một model làm bài kiểm tra nổi tiếng rất tốt mà vẫn lúng túng với việc của bạn. Điểm cao ở câu hỏi quen chưa chứng minh được nó sẽ xử lý tốt câu hỏi lạ.
Làm ngay
Thử bằng câu hỏi mới
- 1. Hỏi chatbot một câu đố kinh điển mà chắc chắn nó đã gặp, ví dụ một câu đố mẹo nổi tiếng.
- 2. Rồi hỏi một phiên bản đã đổi một chi tiết, lấy prompt bên dưới làm mẫu.
- 3. Xem nó trả lời đúng câu hỏi mới hay lặp lại đáp án quen thuộc.
Một bác nông dân cần chở một con dê qua sông. Thuyền chở được bác và hai con vật, ngoài ra không có gì khác phải chở. Ít nhất cần mấy chuyến? Giải thích ngắn gọn.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Overfitting
- Khi mô hình học thuộc ví dụ huấn luyện quá kỹ nên làm kém với ví dụ mới chưa từng thấy.
- Training data
- Những ví dụ, như chữ, hình ảnh hay bản ghi âm, mà mô hình học quy luật từ đó.
- Machine learning
- Dạy máy tính bằng cách cho xem thật nhiều ví dụ để nó tự tìm quy luật, thay vì viết sẵn mọi luật.