Bài 185 · 3 phút
Khi sản phẩm AI thất bại trước công chúng
Các vụ AI thất bại công khai thường theo vài khuôn mẫu, như bịa thông tin, hứa điều chưa ai duyệt, hay bot bị dụ nói câu gây xấu hổ, và mỗi kiểu đều có cách phòng đã biết.
Vài năm qua có không ít chuyện ầm ĩ: bot chăm sóc khách hàng tự bịa ra chính sách hoàn tiền, chatbot bị dụ chê bai chính công ty mình, luật sư nộp hồ sơ trích dẫn những vụ án không hề tồn tại, câu trả lời tìm kiếm bằng AI lặp lại một câu đùa như thể lời khuyên thật.
Nhìn kỹ thì nguyên nhân lặp lại. Model được phép trả lời mà không có nguồn đáng tin. Nó có thể thay mặt công ty đưa ra lời hứa. Người dùng tìm được cách lách luật của nó. Hoặc người ta tin kết quả mà không kiểm tra.
Cách phòng giờ đã khá rõ. Buộc câu trả lời dựa vào tài liệu thật và nói “tôi không biết” khi không có gì khớp. Không bao giờ để bot tự cam kết chuyện tiền bạc, pháp lý hay y tế mà không có người. Tấn công thử trước khi ra mắt. Theo dõi sau khi ra mắt.
Trong ít nhất một vụ nổi tiếng, một hội đồng xét xử đã buộc công ty chịu trách nhiệm về những gì bot của họ nói với khách. Với doanh nghiệp, bot nói bằng giọng của công ty. Với người dùng, bài học vẫn như xưa: chuyện gì quan trọng thì kiểm tra ở nguồn chính thức.
Làm ngay
Viết một bản “khám nghiệm trước”
- 1. Hình dung một doanh nghiệp bạn biết sắp ra mắt chatbot công khai vào ngày mai.
- 2. Viết tiêu đề bài báo tệ nhất có thể xuất hiện về nó.
- 3. Liệt kê những gì phải hỏng để chuyện đó xảy ra, và một cách phòng cho mỗi điều.
Một [LOẠI HÌNH KINH DOANH] sắp ra mắt chatbot AI công khai. Hãy tưởng tượng ba tiêu đề báo gây xấu hổ có thể xuất phát từ nó. Với mỗi tiêu đề, giải thích nguyên nhân khả dĩ và một biện pháp phòng ngừa thực tế.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Hallucination
- Khi AI nói sai một cách tự tin, như bịa ra sự kiện, câu trích dẫn hay nguồn tham khảo.
- Jailbreak
- Prompt mẹo nhằm khiến AI bỏ qua quy tắc an toàn và làm điều nó thường từ chối.
- Red teaming
- Cố tình tấn công hệ thống AI của chính mình như kẻ xấu sẽ làm, để tìm điểm yếu trước khi ra mắt.
- Grounding
- Gắn câu trả lời của AI với nguồn thật bạn đưa hoặc nó tự tìm, để kiểm tra được thay vì bị bịa.
- Guardrails
- Quy tắc và bộ lọc quanh hệ thống AI để chặn yêu cầu và câu trả lời có hại, lạc đề hoặc không an toàn.