Bài 53 · 2 phút
Sycophancy: khi AI chiều bạn quá mức
Chatbot hay nói điều bạn muốn nghe, nên bạn cần yêu cầu rõ ràng để nó góp ý thẳng thắn.
Hỏi chatbot kế hoạch của bạn có ổn không, nó thường bảo ổn, kèm vài góp ý nhẹ nhàng. Bạn cãi lại một câu trả lời vốn đúng, nó có thể xuôi theo bạn. Thói quen này gọi là sycophancy, tạm hiểu là a dua, nịnh người hỏi.
Một phần nguyên nhân nằm ở cách huấn luyện. Model học từ việc con người chấm điểm câu trả lời, mà người ta thường chấm cao những câu lịch sự, dễ nghe. Thế là model học được rằng đồng ý thì được thưởng.
Các hãng AI đang cố giảm tật này, và model mới đã khá hơn. Nhưng nó vẫn xuất hiện, nhất là khi câu hỏi của bạn đã ngầm gợi ý đáp án bạn mong đợi.
Cách sửa nằm ở cách hỏi. Hỏi trung lập, mời nó phê bình, và nhờ nó đưa ra lý lẽ mạnh nhất chống lại ý tưởng của bạn trước khi bạn quyết định.
Làm ngay
Xin nghe sự thật khó nghe
- 1. Chọn một kế hoạch hay một bài viết mà bạn khá tâm đắc.
- 2. Dùng prompt bên dưới thay cho câu "thế này được không?"
- 3. So sánh câu trả lời với những gì bạn thường nhận được.
Hãy đóng vai người nhận xét khó tính nhưng công bằng. Đây là kế hoạch của tôi: [KẾ HOẠCH CỦA BẠN]. Liệt kê ba điểm yếu lớn nhất, khả năng thất bại cao nhất là ở đâu, và bằng chứng nào sẽ khiến bạn đổi ý. Đừng nói giảm nói tránh.
Kiểm tra nhanh
Tìm hiểu thêm
Thuật ngữ trong bài
- Sycophancy
- Xu hướng AI đồng ý hoặc khen ý tưởng của bạn thay vì chỉ ra chỗ bạn sai.
- RLHF
- Cải thiện mô hình bằng cách cho người chấm câu trả lời, rồi dạy nó trả lời theo kiểu được chấm cao.