Những lá thư đòi nợ tự động không ai kiểm tra

Từ năm 2015, chính phủ Úc dùng một hệ thống tự động, sau này bị gọi là Robodebt, để tìm các khoản trợ cấp phúc lợi bị trả thừa. Nó lấy thu nhập cả năm từ cơ quan thuế, chia đều cho từng kỳ hai tuần, rồi so với số thu nhập mà người dân đã khai.

Nếu số liệu không khớp, hệ thống có thể tạo ra một khoản nợ, và người dân phải tự chứng minh mình không nợ. Nhiều người làm việc giờ giấc thất thường, nên con số bình quân sai với họ. Gần nửa triệu người nhận thông báo nợ.

Cuối năm 2019, Tòa án Liên bang xác định hệ thống này trái luật. Chính phủ rút lại khoảng 1,76 tỷ đô la Úc tiền nợ và dàn xếp một vụ kiện tập thể năm 2021. Tháng 7/2023, một Ủy ban Hoàng gia gọi chương trình này là "thô bạo và tàn nhẫn" và kết luận nó gây tổn hại nghiêm trọng, kể cả liên quan đến những vụ tự tử.

Robodebt không phải AI hiện đại. Nó chỉ là một quy tắc tự động đơn giản. Nhưng nó cho thấy cùng một mối nguy như khi dùng AI trên diện rộng: một phép tính trông chính xác được tin tưởng, còn bước kiểm tra của con người bị bỏ đi.

Cách tính bình quân giả định mọi người kiếm được số tiền như nhau mỗi hai tuần. Cuộc sống thật không đều như vậy. Khi giả định gốc của một hệ thống tự động sai, nó mắc cùng một lỗi với tất cả mọi người, rất nhanh, và gánh nặng đổ lên những người ít khả năng chống lại nhất.

Ý tưởng đằng sau vụ nàyBài học: Duyệt bài AI như một người quản lý →

1. 1Kiểm tra mọi quyết định tự động có đúng luật không trước khi đưa vào dùng, chứ không phải sau khi có khiếu nại.
2. 2Giữ một người được đào tạo xem xét các quyết định làm người dân mất tiền hoặc mất quyền lợi.
3. 3Đừng bao giờ bắt người dân chứng minh máy sai; tổ chức phải đưa ra bằng chứng.
4. 4Thử hệ thống trên các trường hợp thật và phức tạp, như người làm công việc thất thường.
5. 5Theo dõi khiếu nại và sai sót, và dừng hệ thống ngay khi có dấu hiệu cảnh báo.