Công cụ phát hiện AI bị chính hãng làm ra nó tắt đi

Khi ChatGPT ra đời cuối năm 2022, trường học và nhà tuyển dụng muốn có cách phân biệt bài người viết với bài AI viết. Các công cụ phát hiện xuất hiện rất nhanh. Ngày 31/1/2023, OpenAI, công ty làm ra ChatGPT, tung ra công cụ AI Text Classifier của riêng mình, và nói ngay rằng nó chưa hoàn toàn đáng tin.

Trong thử nghiệm của chính OpenAI trên văn bản tiếng Anh, công cụ chỉ nhận đúng 26% văn bản do AI viết là "có thể do AI viết". Nó gắn nhầm 9% văn bản do người viết là của AI. Ngày 20/7/2023, OpenAI tắt công cụ, với lý do độ chính xác thấp.

Cũng năm 2023, nhóm nghiên cứu Đại học Stanford do Weixin Liang dẫn đầu thử bảy công cụ phát hiện phổ biến. Với 88 bài luận của học sinh lớp 8 ở Mỹ, các công cụ gần như luôn đúng. Với 91 bài luận của người không nói tiếng Anh bản ngữ viết cho kỳ thi TOEFL, trung bình chúng gắn nhầm 61% là do AI viết, và 89 trên 91 bài bị ít nhất một công cụ gắn cờ. Khi nhóm nghiên cứu nhờ ChatGPT viết lại các bài luận AI bằng ngôn từ bay bổng hơn, tỉ lệ bị phát hiện giảm mạnh.

Nhiều công cụ phát hiện hoạt động một phần bằng cách đo xem cách dùng chữ dễ đoán đến đâu, vì AI có xu hướng chọn những chữ hay gặp. Nhưng lối viết đơn giản, dễ hiểu cũng là cách nhiều người viết bằng ngôn ngữ thứ hai, chẳng hạn người Việt viết tiếng Anh. Các tác giả nghiên cứu gắn những báo động nhầm với chính điều này: vốn từ ít đa dạng trông có vẻ "dễ đoán". Trong khi đó, người dùng AI chỉ cần thêm một câu lệnh là làm văn bản bớt dễ đoán. Thế là công cụ phạt người viết trung thực mà lại bỏ sót người gian lận khéo léo.

Góc nhìn AI: bản thân công cụ phát hiện cũng là một hệ thống AI đã học các khuôn mẫu, và nó đưa ra một con số trông rất chắc chắn nhưng thường sai. Ngộ nhận nằm ở chỗ tin rằng con số từ một công cụ là lời phán quyết. Không phải vậy. Khi ra mắt công cụ, chính OpenAI đã nói rằng không thể phát hiện một cách đáng tin cậy mọi văn bản do AI viết.

Ý tưởng đằng sau vụ nàyBài học: Máy học như thế nào →

1. 1Không bao giờ coi điểm số của công cụ phát hiện là bằng chứng. Nhiều nhất, nó chỉ là lý do để nói chuyện.
2. 2Đánh giá bài làm qua những gì người viết giải thích được: nhờ họ trình bày ý tưởng, nguồn tham khảo và các bản nháp.
3. 3Đặc biệt cẩn thận với người viết bằng ngôn ngữ thứ hai, vì lối viết giản dị của họ dễ bị gắn cờ nhầm hơn.
4. 4Đặt quy định rõ ràng từ trước về lúc nào được dùng AI, để câu hỏi trở thành có làm đúng quy định không, chứ không phải công cụ đoán gì.
5. 5Nếu chatbot nói một công cụ phát hiện rất chính xác, hãy hỏi các thử nghiệm độc lập, kể cả tỉ lệ gắn cờ nhầm trên bài người thật viết.