AI được kiểm tra thế nào, và bài kiểm tra bỏ sót gì

Điểm số có ích nhưng có giới hạn. Khi các model đều gần đạt điểm tối đa, bài kiểm tra không còn phân biệt được chúng nữa, nên người ta liên tục làm bài mới khó hơn. Câu hỏi cũng có thể lọt vào dữ liệu huấn luyện, khi đó model chỉ việc nhớ đáp án.

Phần lớn benchmark còn chỉ đo những kỹ năng hẹp. Viết thư trả lời một khách hàng đang bực bằng tiếng Việt, hay viết đúng văn phong công ty bạn, hiếm khi có trong bài kiểm tra công khai nào.

Bài kiểm tra tốt nhất là của chính bạn. Chọn năm việc thật trong công việc, chạy trên hai model và đặt kết quả cạnh nhau để chấm. Dân trong nghề gọi việc này là eval.