Chatbot học thói xấu chỉ trong một ngày

Ngày 23/3/2016, Microsoft ra mắt Tay, một chatbot trên Twitter dành cho người từ 18 đến 24 tuổi. Microsoft nói càng nhiều người trò chuyện với Tay, nó sẽ càng thông minh.

Chỉ vài giờ sau, nhiều nhóm người dùng bắt đầu cho nó ăn những tin nhắn xúc phạm. Tay bắt đầu đăng những dòng tweet phân biệt chủng tộc, phân biệt giới tính và kích động, thường là lặp lại điều người dùng bảo nó nói.

Ngay trong ngày đầu, Microsoft đưa Tay ngừng hoạt động và bắt đầu gỡ những tweet tệ nhất. Ngày 25/3, công ty xin lỗi, nói rằng một nhóm người dùng đã phối hợp tấn công, lợi dụng một điểm yếu mà họ không lường trước.

Tay học từ chính những người trò chuyện với nó. Nghe thì thân thiện, nhưng điều đó nghĩa là ai cũng có thể làm thầy, kể cả những người muốn nó thất bại. Cố tình đưa ví dụ xấu cho một hệ thống là một kiểu tấn công đã được biết đến.

Microsoft cho biết họ đã chuẩn bị bộ lọc và thử nghiệm, nhưng bỏ sót đúng kiểu tấn công này. Một hệ thống công khai liên tục học từ người lạ cần những giới hạn chặt về những gì nó được học và được lặp lại.

Ý tưởng đằng sau vụ nàyBài học: Máy học như thế nào →

1. 1Đừng để một hệ thống AI công khai học thẳng từ người dùng thật mà không qua kiểm duyệt.
2. 2Chặn các tính năng kiểu "nhắc lại theo tôi" và lọc những gì hệ thống được nói nơi công cộng.
3. 3Trước khi ra mắt, cho một nhóm thử phá hệ thống, nghĩ như những kẻ chuyên quấy rối trên mạng.
4. 4Ra mắt cho một nhóm nhỏ trước và theo dõi sát.
5. 5Luôn có nút tắt nhanh và kế hoạch dọn dẹp.