Khi máy tính được tin hơn con người

Từ khoảng năm 2000, Bưu điện Anh (Post Office) vận hành các chi nhánh bằng hệ thống máy tính Horizon do công ty công nghệ Fujitsu cung cấp. Các sub-postmaster, những người tự kinh doanh và điều hành bưu cục địa phương, phải cân đối sổ sách trên hệ thống này.

Khi Horizon báo thiếu tiền, Bưu điện coi khoản chênh đó là món nợ thật. Người điều hành bưu cục phải tự bù, kể cả khi họ nói số liệu sai. Nhiều người bị truy tố tội trộm cắp, gian lận hoặc làm sai sổ sách. Bưu điện vẫn luôn khẳng định Horizon vững chắc và đáng tin cậy.

Một nhóm hơn 500 người điều hành bưu cục, do ông Alan Bates dẫn đầu, đã khởi kiện. Tháng 12/2019, thẩm phán Fraser phán quyết rằng Horizon có lỗi, sai sót và khiếm khuyết, và có rủi ro đáng kể rằng các khoản thiếu hụt trong sổ sách chi nhánh là do chính hệ thống gây ra. Ông gọi phiên bản Horizon đời đầu là "not remotely robust" (chẳng vững chắc chút nào). Vụ kiện đã được hòa giải ngay trước phán quyết.

Tháng 4/2021, Tòa Phúc thẩm hủy bản án của 39 cựu sub-postmaster, xác định Bưu điện biết Horizon có vấn đề nghiêm trọng nhưng không điều tra và không công bố. Ngày 24/5/2024, một đạo luật mới, Post Office (Horizon System) Offences Act, hủy cùng lúc thêm hàng trăm bản án. Một cuộc điều tra công khai do Sir Wyn Williams chủ trì bắt đầu công bố báo cáo cuối cùng từ tháng 7/2025.

Thất bại cốt lõi không phải một lỗi phần mềm. Đó là một quy tắc ngầm: máy tính đúng, con người nói dối. Khi Bưu điện mặc định Horizon không thể sai, mọi khoản thiếu hụt trở thành bằng chứng trộm cắp, và người phản đối phải tự chứng minh mình vô tội trước một hệ thống họ không thể nhìn vào bên trong.

AI giờ được dùng để gắn cờ gian lận, chấm điểm ứng viên, kiểm tra hồ sơ trợ cấp và chấm bài. Những hệ thống này có thể sai, và lỗi của chúng có thể trông y như bằng chứng. Khi một tổ chức coi kết quả của AI là sự thật, và bắt người bị nghi phải tự chứng minh điều ngược lại, họ đang lặp lại sai lầm Horizon. Kết quả của AI nên là đầu mối để điều tra, không phải bản án.

Ý tưởng đằng sau vụ nàyBài học: Kiểm tra lại lời AI nói →

1. 1Coi mọi cảnh báo của AI về một người, như gian lận, quay cóp hay làm việc kém, là lý do để xem xét kỹ hơn, không bao giờ là bằng chứng.
2. 2Đối chiếu kết luận của AI với bằng chứng độc lập trước khi có bất kỳ hành động nào với người đó.
3. 3Cho người bị ảnh hưởng cách rõ ràng để khiếu nại quyết định, và cung cấp cho họ thông tin cần thiết để làm điều đó.
4. 4Ghi lại các lỗi đã biết của hệ thống và chia sẻ với mọi người bị ảnh hưởng.
5. 5Khi nhiều người không liên quan đến nhau cùng báo một vấn đề, hãy điều tra hệ thống, không chỉ điều tra con người.