Tên lửa chạy mã của đời cũ

Ngày 4/6/1996, chiếc Ariane 5 đầu tiên rời bệ phóng ở Kourou, Guyane thuộc Pháp. Khoảng 40 giây sau, ở độ cao chừng 3.700 mét, nó chệch hướng, vỡ ra và phát nổ. Trên tên lửa không có người.

Cơ quan Vũ trụ châu Âu (ESA) và cơ quan vũ trụ Pháp CNES lập một hội đồng điều tra độc lập do giáo sư Jacques-Louis Lions làm chủ tịch. Báo cáo công bố tháng 7/1996 truy ra nguyên nhân ở hai bộ dẫn đường quán tính, thiết bị cho tên lửa biết nó đang hướng về đâu và di chuyển nhanh thế nào.

Cả hai bộ chạy phần mềm lấy lại từ Ariane 4. Trong đó có một đoạn chỉ có ích trước khi phóng, nhưng vẫn chạy thêm khoảng 40 giây sau khi cất cánh, vì trên Ariane 4 điều đó giúp xử lý nhanh khi đếm ngược bị hoãn vào phút chót. Ariane 5 tăng tốc theo phương ngang nhanh gấp khoảng năm lần Ariane 4. Một con số trong đoạn mã đó lớn vượt quá chỗ phần mềm dành cho nó, và bộ dẫn đường tự tắt. Bộ dự phòng chạy cùng phần mềm, nên đã hỏng y hệt chỉ một phần nhỏ của giây trước đó.

Máy tính bay chính sau đó đọc dữ liệu báo lỗi của bộ đã hỏng như thể đó là dữ liệu bay thật, và bẻ mạnh các vòi phun động cơ để sửa một sai lệch không hề tồn tại. Tên lửa vỡ tung vì lực quá lớn.

Phần mềm không hề hỏng với công việc nó được viết ra để làm. Trên Ariane 4, con số đó không bao giờ lớn đến thế. Các kỹ sư thậm chí đã quyết định không bảo vệ con số này, vì tin rằng nó không thể tăng đủ lớn. Hội đồng điều tra kết luận dữ liệu quỹ đạo của Ariane 5 chưa bao giờ được đưa vào yêu cầu kỹ thuật của bộ dẫn đường, nên mã chưa từng được thử trong đúng điều kiện nó sẽ gặp.

Đây là kiểu sai phổ biến nhất của AI trong thực tế. Mô hình học từ ví dụ, và chỉ đáng tin với những tình huống giống các ví dụ đó. Đưa nó sang một nước khác, một nhóm khách hàng khác hay một loại giấy tờ khác, nó có thể sai mà không báo trước, vì chưa ai thử nó với thế giới mới. Một bản sao của cùng mô hình làm dự phòng cũng sẽ sai đúng chỗ đó.

Ý tưởng đằng sau vụ nàyBài học: Máy học như thế nào →

1. 1Trước khi dùng lại một công cụ hay câu lệnh AI cho việc mới, ghi ra dữ liệu mới khác gì so với dữ liệu nó từng được xây dựng và thử nghiệm.
2. 2Thử trên mẫu thật từ môi trường mới, kể cả những trường hợp cực đoan, không chỉ trường hợp thông thường.
3. 3Đừng coi bản sao thứ hai của cùng một mô hình là dự phòng. Hãy dùng một cách kiểm tra khác hẳn.
4. 4Cho hệ thống dừng rõ ràng khi dữ liệu đầu vào trông bất thường, thay vì chuyển tiếp thông tin lỗi như thể đó là câu trả lời.
5. 5Ghi lại lý do của mỗi lần bỏ qua một bước an toàn, để nhóm sau biết người trước đã giả định điều gì.