Bài toán hộp đen

Vì vậy khi model trả lời, không có sẵn danh sách lý do nào để đọc. Bạn có thể bảo nó tự giải thích, nhưng lời giải thích đó cũng chỉ là chữ được tạo ra thêm, và có thể không khớp với những gì thật sự diễn ra bên trong.

Các nhà nghiên cứu đang tìm cách giải quyết, trong một lĩnh vực gọi là interpretability (khả năng diễn giải). Họ đã tìm ra cách nhận diện một số khái niệm bên trong model và xem một vài câu trả lời hình thành ra sao. Đó là tiến bộ thật, dù vẫn còn xa mới thấy hết bức tranh.

Hiện tại, đây là lý do các quyết định về vay vốn, tuyển dụng, sức khỏe hay pháp luật không nên chỉ dựa vào câu trả lời của AI. Con người cần được chất vấn quyết định và nhận một lý do mà ai đó chịu trách nhiệm.