Thử nghiệm tính năng AI trước khi ra mắt

Vì vậy các đội xây một bộ eval (bộ đánh giá): từ năm mươi tới vài trăm đầu vào giống thật, kèm ghi chú câu trả lời tốt phải có gì hoặc phải tránh gì. Hãy có cả câu dễ, câu khó, câu thô lỗ, câu tiếng Việt và tiếng Anh, và vài câu cố phá luật.

Chạy cả bộ sau mỗi lần sửa và chấm điểm. Có bước chấm tự động được, như “có nêu giờ mở cửa không”. Có bước cần người chấm, hoặc một model thứ hai chấm theo tiêu chí viết sẵn, rồi người kiểm tra lại vài câu.

Sau đó cố tình phá nó, gọi là red teaming (tấn công thử). Nhờ bạn bè hay đồng nghiệp tìm cách làm nó cư xử sai. Ra mắt cho một nhóm nhỏ trước, đọc các cuộc trò chuyện thật, và thêm mọi lỗi mới vào bộ eval.