Hệ thống ẩn chỉ tin vào một cảm biến

Boeing tung ra 737 MAX như một phiên bản tiết kiệm nhiên liệu hơn của dòng máy bay bán chạy nhất hãng. Động cơ mới, lớn hơn làm máy bay xử lý khác đi trong vài tình huống, nên Boeing thêm một phần mềm tên là MCAS có thể tự động chúi mũi máy bay xuống.

MCAS chỉ lấy số liệu từ một cảm biến góc tấn, dù máy bay có hai cái. Nếu cảm biến đó hỏng, MCAS có thể chúi mũi xuống hết lần này đến lần khác. Hệ thống này không được mô tả trong sổ tay của phi công, một phần vì Boeing muốn tránh việc phi công đã lái 737 đời cũ phải học thêm trên buồng lái mô phỏng.

Ngày 29/10/2018, chuyến bay 610 của Lion Air rơi xuống biển ngay sau khi cất cánh từ Jakarta, làm 189 người chết. Ngày 10/3/2019, chuyến bay 302 của Ethiopian Airlines rơi gần Addis Ababa, làm 157 người chết. Cả hai lần, một cảm biến lỗi đã kích hoạt MCAS và phi công vật lộn với nó cho đến khi mất kiểm soát.

Các cơ quan quản lý khắp thế giới cấm bay 737 MAX từ tháng 3/2019. Máy bay được phép bay lại ở Hoa Kỳ vào tháng 11/2020, sau những thay đổi để MCAS dùng cả hai cảm biến và chỉ kích hoạt một lần.

Một báo cáo năm 2020 của ủy ban Hạ viện Hoa Kỳ mô tả áp lực cạnh tranh với Airbus về chi phí và tiến độ, và một quy trình cấp chứng nhận trong đó cơ quan quản lý dựa rất nhiều vào chính nhân viên của Boeing. Từng quyết định, như dùng một cảm biến hay không đưa MCAS vào sổ tay, đều có lý khi xét riêng. Gộp lại, chúng tạo ra một điểm hỏng duy nhất bị giấu kín.

Phi công không thể phản ứng tốt với một hệ thống mà họ không biết là có tồn tại. Tự động hóa tự hành động thì người giám sát nó phải hiểu nó làm gì và cách dừng nó lại.

Ý tưởng đằng sau vụ nàyBài học: AI agent: AI biết tự hành động →

1. 1Khi một hệ thống tự hành động, bảo đảm người chịu trách nhiệm biết nó làm gì và cách tắt nó.
2. 2Đừng bao giờ để một nguồn dữ liệu, một cảm biến hay một người kiểm tra là thứ duy nhất ngăn bạn khỏi một sai lầm nghiêm trọng.
3. 3Cẩn thận khi chính người làm ra một thứ cũng là người chính kiểm tra nó.
4. 4Khi sự cố nghiêm trọng đầu tiên xảy ra, hãy nhanh chóng xử lý nguyên nhân trước khi có lần thứ hai.