Sai số đồng hồ nhỏ xíu lớn dần suốt 100 giờ

Ngày 25/2/1991, trong Chiến tranh vùng Vịnh, một tên lửa Scud của Iraq rơi trúng doanh trại quân đội Mỹ ở Dhahran, Ả Rập Xê Út, làm 28 lính Mỹ thiệt mạng. Một khẩu đội tên lửa Patriot đang bảo vệ khu vực này. Nó thậm chí không khai hỏa để đánh chặn.

Cuộc kiểm toán của Văn phòng Kiểm toán Chính phủ Mỹ (GAO) tìm ra nguyên nhân. Máy tính của khẩu đội đếm thời gian theo đơn vị một phần mười giây, và mỗi lần đổi số đếm đó ra giây lại mất đi một chút độ chính xác. Hệ thống chạy càng lâu, sai số càng lớn. Sau khoảng 100 giờ chạy liên tục, đồng hồ lệch chừng một phần ba giây. Với một tên lửa bay nhanh như vậy, chừng đó đủ để radar nhìn sai chỗ.

Patriot vốn được thiết kế để chống máy bay ở châu Âu và phải di chuyển thường xuyên, mỗi chỗ chỉ chạy vài giờ. Ngày 11/2, quân đội Mỹ nhận dữ liệu từ Israel cho thấy độ ngắm đã lệch đáng kể sau 8 giờ chạy. Bản sửa phần mềm được phát hành ngày 16/2, và ngày 21/2 các đơn vị được cảnh báo rằng chạy "rất lâu" có thể gây lệch. Cảnh báo không nói bao lâu thì là quá lâu.

Khởi động lại hệ thống, mất khoảng một đến hai phút, sẽ đặt đồng hồ về không và xóa sai số. Khẩu đội ở Dhahran đã không được khởi động lại. Phần mềm đã sửa đến Dhahran ngày 26/2, một ngày sau vụ tấn công.

Không có phép tính nào sai nặng. Mỗi lần chỉ lệch một chút, nhỏ đến mức không ai thấy. Nhưng sai số cộng dồn theo từng nhịp đồng hồ, và hệ thống bị dùng lâu hơn nhiều so với dự tính của người thiết kế. Không có gì trên màn hình cho thấy sự trôi lệch. Khẩu đội trông vẫn bình thường cho đến đúng lúc bắn trượt.

Công cụ AI cũng có thể trôi lệch âm thầm theo cách tương tự. Cơ chế khác, nhưng hình dạng giống nhau. Trong một cuộc trò chuyện rất dài, những chỉ dẫn ban đầu dần trôi ra khỏi phần mô hình còn nhìn thấy, và những lỗi nhỏ bị xây chồng lên. Một AI agent chạy hàng giờ có thể mang một giả định sai từ đầu qua mọi bước sau. Không có đèn đỏ nào nháy. Cách sửa thường đơn giản như với Patriot: bắt đầu lại với một bản tóm tắt sạch đã được kiểm tra.

Ý tưởng đằng sau vụ nàyBài học: Context window: trí nhớ ngắn hạn của AI →

1. 1Với dự án dài, thỉnh thoảng mở cuộc trò chuyện mới và dán vào một bản tóm tắt ngắn mà bạn đã tự kiểm tra.
2. 2Kiểm tra lại các dữ kiện và con số quan trọng ở cuối một phiên làm việc dài với AI, không chỉ ở đầu.
3. 3Chia việc dài của agent thành nhiều chặng, và kiểm tra kết quả mỗi chặng trước khi sang chặng sau.
4. 4Khi đã biết giới hạn của công cụ, hãy nói bằng con số cụ thể ("khởi động lại mỗi 8 giờ"), không dùng chữ mơ hồ như "rất lâu".
5. 5Coi cảnh báo sớm từ một nhóm là phép thử cho cả hệ thống, chứ không phải trường hợp cá biệt.