Bài 172 · 2 phút
Phòng điều khiển: theo dõi app AI sau khi ra mắt
Khi tính năng AI đã chạy thật, đội ngũ cần một “phòng điều khiển” hiển thị câu trả lời, chi phí, tốc độ và phàn nàn, để phát hiện vấn đề trước khi nó lan ra.
Ra mắt mới là lúc học thật sự bắt đầu. Người dùng hỏi những điều chưa ai thử, theo những cách chưa ai nghĩ tới. Không theo dõi, đội ngũ chỉ biết bot trả lời tệ khi chuyện đã lên mạng xã hội.
Một phòng điều khiển tốt theo dõi vài thứ. Có bao nhiêu câu hỏi gửi tới, trả lời mất bao lâu, mỗi câu tốn bao nhiêu tiền, hàng rào an toàn bật lên bao nhiêu lần, và người dùng bấm “không thích”, đòi gặp người thật hay bỏ ngang thường xuyên tới đâu.
Nó cũng lưu mẫu các cuộc trò chuyện thật, đã bỏ dữ liệu cá nhân, để mọi người đọc xem chuyện gì đã diễn ra. Đọc hai mươi cuộc chat mỗi tuần thường dạy được nhiều hơn mọi biểu đồ.
Hãy đặt cảnh báo cho thay đổi đột ngột, như chi phí tăng gấp đôi sau một đêm hay phàn nàn tăng vọt sau một bản cập nhật. Khi nhà cung cấp model ra phiên bản mới, hãy theo dõi sát, vì hành vi có thể đổi dù code của bạn không đổi gì.
Làm ngay
Chọn năm chiếc đồng hồ
- 1. Hình dung bạn đang vận hành một bot hỗ trợ cho một doanh nghiệp nhỏ.
- 2. Chọn năm con số bạn muốn thấy trên màn hình phòng điều khiển.
- 3. Với mỗi con số, quyết định mức nào thì bạn phải ra tay, như “tỷ lệ không thích trên 10%”.
Tôi vận hành một bot hỗ trợ AI cho [DOANH NGHIỆP]. Hãy gợi ý một bảng theo dõi đơn giản: năm con số hữu ích nhất, cách thu thập từng con số, và ngưỡng cảnh báo cho mỗi cái. Phù hợp với một đội chỉ có hai người.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Eval
- Bài kiểm tra bạn tự thiết kế để xem AI có làm tốt việc cụ thể của bạn không, dùng ví dụ đã biết đáp án đúng.
- Latency
- Khoảng chờ từ lúc bạn hỏi AI đến lúc nó bắt đầu trả lời.
- Guardrails
- Quy tắc và bộ lọc quanh hệ thống AI để chặn yêu cầu và câu trả lời có hại, lạc đề hoặc không an toàn.
- Human in the loop
- Thiết kế quy trình sao cho có người xem lại hoặc duyệt kết quả của AI trước khi nó gây hậu quả thật.