Bài 66 · 2 phút
AI được kiểm tra thế nào, và bài kiểm tra bỏ sót gì
Benchmark là các bài kiểm tra chuẩn giúp so sánh model AI, nhưng điểm cao không đảm bảo model làm tốt việc của bạn.
Benchmark là một bộ câu hỏi cố định có sẵn đáp án: bài toán, bài lập trình, câu hỏi thi, bài đọc hiểu. Cho model làm bài là ra một con số để so với model khác.
Điểm số có ích nhưng có giới hạn. Khi các model đều gần đạt điểm tối đa, bài kiểm tra không còn phân biệt được chúng nữa, nên người ta liên tục làm bài mới khó hơn. Câu hỏi cũng có thể lọt vào dữ liệu huấn luyện, khi đó model chỉ việc nhớ đáp án.
Phần lớn benchmark còn chỉ đo những kỹ năng hẹp. Viết thư trả lời một khách hàng đang bực bằng tiếng Việt, hay viết đúng văn phong công ty bạn, hiếm khi có trong bài kiểm tra công khai nào.
Bài kiểm tra tốt nhất là của chính bạn. Chọn năm việc thật trong công việc, chạy trên hai model và đặt kết quả cạnh nhau để chấm. Dân trong nghề gọi việc này là eval.
Làm ngay
Làm một bài eval nhỏ
- 1. Ghi ra ba việc bạn thật sự làm, như trả lời email, tóm tắt và dịch một đoạn ngắn.
- 2. Đưa đúng một prompt giống hệt nhau cho hai chatbot khác nhau.
- 3. Chấm mỗi câu trả lời từ 1 đến 5 về độ chính xác và độ hữu ích, mà không nhìn xem công cụ nào viết.
Kiểm tra nhanh
Học tiếp
Bài sau →Model nhỏ và model lớnTìm hiểu thêm