Bài 183 · 3 phút
Đo xem sản phẩm AI có hiệu quả không
Tính năng AI hiệu quả khi nó giúp người ta làm xong việc thật, nên hãy đo kết quả như thời gian tiết kiệm và vấn đề được giải quyết, đừng chỉ nhìn câu trả lời nghe ấn tượng cỡ nào.
Đo sai thứ là chuyện rất dễ xảy ra. “Người dùng đã gửi 10.000 tin nhắn” có thể nghĩa là bot được ưa chuộng, cũng có thể nghĩa là phải mất mười tin nhắn mới có một câu trả lời dùng được.
Hãy bắt đầu từ công việc. Với bot hỗ trợ: bao nhiêu phần trăm câu hỏi được giải quyết mà không cần người, và khách có hài lòng sau đó không? Với trợ lý viết: người ta giữ lại bao nhiêu phần bản nháp, và việc đó mất bao lâu?
Kết hợp con số với kiểm tra chất lượng. Bộ eval cho bạn biết câu trả lời có đúng không. Tín hiệu từ người dùng như bấm thích, chỉnh sửa và quay lại dùng cho biết họ có thấy hữu ích không. Đọc một ít cuộc trò chuyện thật sẽ cho thấy lý do đằng sau cả hai.
So với cách làm trước đây. Nếu được, hãy chạy thử A/B: một nhóm có tính năng AI, một nhóm không, rồi so kết quả. Và để ý tác dụng phụ, như trả lời nhanh hơn nhưng phàn nàn nhiều hơn.
Làm ngay
Chọn một chỉ số kết quả
- 1. Chọn một công cụ AI bạn dùng ở chỗ làm hay ở nhà.
- 2. Viết công việc thật mà nó giúp bạn trong một câu.
- 3. Chọn một con số cho thấy nó đang giúp, và một con số báo hiệu nó không giúp.
Tôi dùng một công cụ AI để [CÔNG VIỆC]. Hãy gợi ý một chỉ số thành công chính dựa trên kết quả, hai tín hiệu hỗ trợ, và một dấu hiệu cảnh báo rằng công cụ đang gây ra vấn đề mới. Giải thích cách một đội nhỏ theo dõi từng cái.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Eval
- Bài kiểm tra bạn tự thiết kế để xem AI có làm tốt việc cụ thể của bạn không, dùng ví dụ đã biết đáp án đúng.
- A/B test
- Cho hai nhóm người dùng thử hai phiên bản khác nhau để xem phiên bản nào hiệu quả hơn.
- Benchmark
- Bộ câu hỏi chuẩn dùng để chấm và so sánh các mô hình AI. Điểm cao không đảm bảo làm tốt việc của bạn.