Cỗ máy báo rằng bệnh nhân gần như không nhận liều nào

Therac-25 là máy xạ trị chữa ung thư do Atomic Energy of Canada Limited (AECL) sản xuất. Các đời máy trước có khóa an toàn bằng cơ khí, tự ngắt tia khi cài đặt sai. Therac-25 thì giao phần lớn việc đó cho phần mềm.

Từ tháng 6/1985 đến tháng 1/1987, máy đã gây ra sáu ca quá liều nghiêm trọng được biết đến tại các phòng khám ở Mỹ và Canada. Khi bác sĩ và kỹ sư vật lý lên tiếng, AECL nói máy không thể làm bệnh nhân quá liều và đổ cho nguyên nhân khác.

Tháng 3/1986, tại một trung tâm ung thư ở Tyler, bang Texas, kỹ thuật viên gõ nhầm chế độ điều trị, sửa lại thật nhanh rồi bấm chiếu. Màn hình hiện "Malfunction 54" và báo bệnh nhân mới nhận 6 trên 202 đơn vị liều được kê. Chị bấm phím cho máy chạy tiếp. Thực tế bệnh nhân đã nhận một liều khổng lồ, và ông qua đời năm tháng sau. Bệnh nhân thứ hai ở Tyler gặp đúng lỗi đó vào tháng 4 và mất vào tháng 5. Một bệnh nhân ở Yakima, bang Washington, bị quá liều vào tháng 1/1987 vì một lỗi phần mềm khác, và mất vào tháng 4 năm đó do biến chứng.

Kỹ sư vật lý của bệnh viện Tyler, ông Fritz Hager, cùng kỹ thuật viên tập đi tập lại cho đến khi tái tạo được lỗi: nó chỉ xuất hiện khi sửa thông số thật nhanh. Tháng 5/1986, Cục Quản lý Thực phẩm và Dược phẩm Mỹ (FDA) tuyên bố máy có lỗi và buộc AECL đưa ra kế hoạch khắc phục, gồm hơn 20 thay đổi về phần cứng và phần mềm.

Lỗi sửa nhanh là lỗi về thời điểm. Nếu người vận hành đổi chế độ trong lúc máy còn đang tự cài đặt, phần mềm không nhận ra thay đổi và dùng sai thông số. Khóa cơ khí ở đời máy cũ sẽ chặn tia bất kể phần mềm nghĩ gì. Trên Therac-25, không có gì nằm ngoài phần mềm để bắt lỗi của chính nó.

Những người xung quanh cũng đã quen tin máy. Thông báo lỗi khó hiểu và xuất hiện thường xuyên, nên bấm "chạy tiếp" trở thành thói quen. Bản phân tích an toàn của nhà sản xuất chỉ xét hỏng hóc phần cứng và coi lỗi phần mềm gần như không thể xảy ra.

AI agent (AI tự thực hiện các bước công việc) ngày nay đặt ra đúng câu hỏi đó. Khi phần mềm có thể trực tiếp hành động, như chuyển tiền, sửa dữ liệu, gửi email cho khách, thì giới hạn an toàn không được chỉ nằm bên trong chính hệ thống có thể sai. Và một thông báo lỗi mà mọi người quen tay bấm bỏ qua thì không còn là tính năng an toàn nữa.

Ý tưởng đằng sau vụ nàyBài học: AI agent: AI biết tự hành động →

1. 1Đặt giới hạn cứng nằm ngoài AI: hạn mức chi tiền, bước phê duyệt và quyền truy cập mà AI không tự đổi được.
2. 2Với công cụ AI tác động lên việc thật, coi mọi lỗi không rõ nguyên nhân là lý do để dừng, không phải để thử lại.
3. 3Mỗi cảnh báo phải có ý nghĩa bằng lời dễ hiểu và bước xử lý ghi sẵn, để không ai quen tay bấm bỏ qua.
4. 4Khi người dùng báo bị hại, hãy coi đó có thể là thật và điều tra, kể cả khi nhà cung cấp nói chuyện đó không thể xảy ra.
5. 5Lưu nhật ký những gì AI đã làm, để khi có sự cố có thể dựng lại từng bước.