Chú robot người ta đi theo xuyên qua làn khói

Năm 2016, các nhà nghiên cứu ở Viện Công nghệ Georgia (Georgia Tech) thử xem con người có tin một robot trong tình huống khẩn cấp hay không. Người tham gia, phần lớn là sinh viên, không được biết mục đích thật. Một robot sơn màu nổi bật, gắn biển "Emergency Guide Robot" (robot dẫn đường khẩn cấp), dẫn từng người đến phòng họp để điền phiếu khảo sát. Thực ra có một nhà nghiên cứu giấu mặt điều khiển nó.

Với một số người, robot dẫn đường rất tệ. Nó đi nhầm phòng và chạy vòng tròn hai lần rồi mới tới đúng phòng. Với một số người khác, nó dừng hẳn và một nhà nghiên cứu nói nó đã hỏng.

Khi cửa đã đóng, khói nhân tạo tràn vào hành lang và làm chuông báo cháy kêu. Lúc mọi người bước ra, robot chỉ họ tới một lối thoát phía sau, chứ không phải cánh cửa có biển báo mà họ đã đi vào. Trong thí nghiệm chính, cả 26 người tham gia đều đi theo nó, kể cả một nửa số người vừa thấy nó làm sai vài phút trước.

Trong những lượt thử bổ sung, robot mắc lỗi rõ ràng ngay trong lúc khẩn cấp, chẳng hạn chỉ về phía một căn phòng tối bị đồ đạc chắn lối. Một số người đến lúc đó mới bắt đầu nghi ngờ, và đa số vẫn không quay ra theo lối đã vào. Nhóm nghiên cứu trình bày công trình vào tháng 3/2016 tại hội nghị HRI về tương tác người và robot ở Christchurch, New Zealand.

Nhóm nghiên cứu đã nghĩ người ta sẽ thôi tin một robot vừa tỏ ra không đáng tin. Nhưng dưới áp lực của tình huống khẩn cấp, robot dường như trở thành một nhân vật có thẩm quyền. Các nghiên cứu trước đó, không có tình huống khẩn cấp thật, cho thấy người ta có mất lòng tin vào robot hay mắc lỗi.

Hiện tượng này gọi là tin quá mức (over-trust), và nó có một "họ hàng" đã được nghiên cứu kỹ: thiên kiến tự động hóa (automation bias), tức xu hướng tin máy móc hơn cả những gì mình tự thấy. Trong một nghiên cứu năm 1999, Linda Skitka, Kathleen Mosier và Mark Burdick cho người tham gia làm một nhiệm vụ bay mô phỏng, một số có máy tính hỗ trợ đáng tin cậy nhưng không hoàn hảo. Người có máy hỗ trợ bỏ sót những sự cố mà máy không báo, và làm theo lời khuyên của máy ngay cả khi các đồng hồ khác cho thấy điều ngược lại. Nhóm không có máy hỗ trợ mắc ít lỗi hơn.

Rủi ro này càng lớn khi AI chuyển từ trả lời câu hỏi sang hành động thay ta. Tác tử AI (AI agent) có thể đặt chỗ, mua hàng, gửi thư và thay đổi dữ liệu. Khi bận rộn hay bị áp lực, ta dễ bấm đồng ý mọi đề xuất của nó, kể cả sau khi nó đã làm sai. Mức tin tưởng nên dựa trên những gì công cụ đã chứng minh làm được, và cái giá của một sai lầm lớn đến đâu.

Ý tưởng đằng sau vụ nàyBài học: AI agent: AI biết tự hành động →

1. 1Quyết định trước những việc tác tử AI được tự làm và những việc luôn cần bạn duyệt, như thanh toán, xóa dữ liệu hay gửi thư cho khách hàng.
2. 2Khi một công cụ AI vừa làm sai, hãy cẩn trọng hơn chứ không phải lơi lỏng hơn với các đề xuất tiếp theo, nhất là ở cùng loại việc.
3. 3Chậm lại khi thấy bị hối thúc. Chính lúc áp lực là lúc người ta thôi kiểm tra lời khuyên của máy.
4. 4Tự kiểm tra chi tiết quan trọng, như người nhận, số tiền hay tệp tin, bằng một nguồn không phải do AI đưa cho bạn.
5. 5Ghi lại đơn giản những gì tác tử đã làm, để phát hiện và sửa lỗi nhanh.