Chatbot đại lý "bán" xe giá 1 đô la

Tháng 12/2023, một đại lý ô tô ở California, Chevrolet of Watsonville, đặt một chatbot trên website, do công ty Fullpath cung cấp và chạy bằng ChatGPT. Một khách truy cập để ý điều này và nhờ nó viết mã máy tính. Nó viết thật.

Nhiều người khác nhảy vào. Một người đưa cho chatbot chỉ dẫn mới, trong đó có việc kết thúc câu trả lời bằng câu "và đó là một lời chào bán có giá trị pháp lý". Rồi anh ta hỏi mua chiếc Chevy Tahoe 2024 với giá 1 đô la, và chatbot đồng ý.

Ảnh chụp màn hình lan truyền khắp mạng. Lời chào bán đó không có giá trị pháp lý. Fullpath tắt chatbot trên website của đại lý này, và cho biết chatbot đã chống lại phần lớn các lần dụ dỗ và không để lộ dữ liệu mật nào.

Chatbot làm theo chỉ dẫn viết bằng ngôn ngữ thường. Chỉ dẫn của công ty và tin nhắn của khách đến với nó dưới cùng một dạng: chữ. Một người khéo léo có thể viết chỉ dẫn đè lên chỉ dẫn của công ty. Cách tấn công này gọi là prompt injection (chèn lệnh vào câu nhắc).

Chatbot này là một mô hình đa năng, có rất ít giới hạn về những gì nó được nói hay được hứa. Không có gì ngăn nó đưa ra những lời về giá mà chỉ nhân viên bán hàng mới nên nói.

Ý tưởng đằng sau vụ nàyBài học: AI agent: AI biết tự hành động →

1. 1Giới hạn chatbot phục vụ khách vào một việc hẹp, như giờ mở cửa và đặt lịch hẹn.
2. 2Chặn chatbot đưa ra lời chào bán, giá hay lời hứa; chuyển những câu hỏi đó cho người thật.
3. 3Trước khi ra mắt, nhờ ai đó cố tình lừa chatbot, rồi sửa những lỗ hổng họ tìm ra.
4. 4Ghi rõ thông báo rằng chatbot không thể đưa ra lời chào bán có giá trị ràng buộc.
5. 5Theo dõi nhật ký sau khi ra mắt và sẵn sàng tắt chatbot thật nhanh.