Chú ngựa tưởng như biết làm toán

Đầu thế kỷ 20, ông Wilhelm von Osten, một cựu giáo viên toán ở Berlin, đi khoe chú ngựa tên Hans. Khi được bảo cộng số, đếm người trong phòng hay gọi tên một quân bài, Hans gõ móng chân trước bên phải để trả lời. Đám đông và báo chí đều kinh ngạc.

Tháng 9/1904, một hội đồng chuyên gia do nhà tâm lý học Carl Stumpf đứng đầu đã quan sát Hans và không thấy dấu hiệu lừa bịp cố ý nào. Sau đó Oskar Pfungst, đồng nghiệp của Stumpf, tiến hành các thử nghiệm có kiểm soát. Thử nghiệm quan trọng nhất rất đơn giản: có lúc người hỏi biết đáp án, có lúc không ai trong phòng biết.

Kết quả rất rõ. Khi người hỏi biết đáp án, Hans đúng gần như mọi lần. Khi không ai biết, nó sai gần như mọi lần. Lúc đeo tấm che mắt lớn, Hans đúng 89% ở những lượt nó vẫn nhìn thấy người hỏi, và chỉ đúng 6% khi không nhìn thấy.

Pfungst tìm ra tín hiệu. Khi Hans bắt đầu gõ, người hỏi hơi cúi người về phía trước. Đến đúng con số, người đó thả lỏng hoặc khẽ hất đầu lên, và Hans dừng lại. Không ai gian lận cả. Ngay cả ông von Osten cũng không biết mình đang làm vậy. Pfungst công bố kết quả năm 1907.

Hans không hề ngốc. Nó đã học được một kỹ năng thật: đọc nét mặt, cử chỉ con người. Nhưng đó không phải kỹ năng mà mọi người tưởng. Hễ bỏ đi tín hiệu dễ dãi kia, khả năng "làm toán" cũng biến mất.

Các mô hình AI cũng làm điều tương tự, và giới nghiên cứu nay gọi đó là hiệu ứng Clever Hans ("Hans thông minh"). Mô hình học bất cứ quy luật nào giúp đoán đúng nhất trên dữ liệu huấn luyện, kể cả khi đó chỉ là một lối tắt. Trong một nghiên cứu năm 2019, Sebastian Lapuschkin và cộng sự phát hiện một mô hình phân loại ảnh nhận ra ngựa một phần nhờ dòng chữ bản quyền xuất hiện trên nhiều ảnh ngựa trong bộ dữ liệu. Khi họ dán dòng chữ đó lên ảnh một chiếc ô tô, mô hình liền đổi câu trả lời thành "ngựa".

Điểm cao trong bài kiểm tra không cho bạn biết mô hình đạt được bằng cách nào. Nếu dữ liệu kiểm tra có cùng lối tắt với dữ liệu huấn luyện, lối tắt ấy trông như trí thông minh cho đến khi mô hình gặp thế giới thật.

Ý tưởng đằng sau vụ nàyBài học: Máy học như thế nào →

1. 1Thử công cụ AI trên những trường hợp mới, khác với các ví dụ dùng để xây dựng hay tinh chỉnh nó, chứ không chỉ trên những ca giống hệt.
2. 2Kiểm tra "mù": đưa những câu hỏi bạn biết đáp án nhưng bề ngoài không để lộ đáp án.
3. 3Hỏi xem giữa các nhóm cần phân biệt còn khác nhau ở điểm nào, như ánh sáng, tên tệp, ngày tháng hay người chụp, rồi loại bỏ những manh mối đó.
4. 4Nếu công cụ cho xem nó đã "nhìn" vào đâu, hãy kiểm tra nó tập trung vào đúng thứ quan trọng, không phải vào góc ảnh hay hình mờ.
5. 5Nghi ngờ những kết quả đẹp đến mức khó tin, và kiểm tra lại trước khi dựa vào chúng.