Điểm rủi ro làm tan nát nhiều gia đình

Trong nhiều năm, cơ quan thuế Hà Lan dùng một hệ thống chấm điểm rủi ro để đánh dấu các hồ sơ trợ cấp giữ trẻ có thể gian lận. Theo Tổ chức Ân xá Quốc tế (Amnesty International), việc không có quốc tịch Hà Lan làm tăng điểm rủi ro của một người.

Hàng chục nghìn phụ huynh bị buộc tội gian lận oan. Nhiều người phải trả lại những khoản tiền lớn, dẫn tới nợ nần, mất việc và gia đình tan vỡ. Cơ quan thuế thừa nhận ít nhất 11.000 người bị đưa vào diện kiểm tra đặc biệt vì nguồn gốc dân tộc hoặc có hai quốc tịch.

Tháng 12/2020, một báo cáo của quốc hội gọi đây là một sự bất công chưa từng có. Ngày 15/1/2021, chính phủ của Thủ tướng Mark Rutte từ chức vì bê bối này. Tháng 10/2021, báo cáo Xenophobic Machines (Những cỗ máy bài ngoại) của Amnesty phân tích vai trò của thuật toán.

Điểm rủi ro chỉ công bằng khi các tín hiệu đưa vào là công bằng. Dùng quốc tịch làm tín hiệu là cài sự phân biệt đối xử vào ngay trong thiết kế. Amnesty cũng cho biết hệ thống tự học và điều chỉnh theo thời gian, nên lặp lại chính thiên lệch đó.

Cán bộ kiểm tra các hồ sơ bị đánh dấu không được biết vì sao hệ thống chấm ai đó điểm cao. Khi lý do của máy bị che đi, con người dễ tin máy. Không ai có thể dễ dàng phát hiện hay phản bác sai sót.

Ý tưởng đằng sau vụ nàyBài học: Duyệt bài AI như một người quản lý →

1. 1Không bao giờ dùng đặc điểm được bảo vệ như quốc tịch hay dân tộc làm tín hiệu rủi ro, và kiểm tra cả những thứ thay thế như mã bưu chính hay tên.
2. 2Mọi lần hệ thống tự động đánh dấu đều phải giải thích được: người xem xét phải thấy vì sao hồ sơ bị đánh dấu.
3. 3Coi việc bị đánh dấu là lý do để xem kỹ hơn, không phải bằng chứng có tội.
4. 4Cho người dân cách rõ ràng, nhanh chóng để xem và khiếu nại quyết định về mình.
5. 5Để một nhóm độc lập kiểm tra kết quả theo từng nhóm người, thường xuyên và công khai.