Nhà vô địch đố vui lúng túng trong bệnh viện

Tháng 2/2011, hệ thống Watson của IBM đánh bại hai nhà vô địch hàng đầu trong gameshow đố vui Jeopardy! của Mỹ. Sau đó IBM đưa Watson vào y khoa, trong đó có một công cụ tư vấn điều trị ung thư xây dựng cùng các bác sĩ của Trung tâm Ung thư Memorial Sloan Kettering ở New York.

Ở Texas, Trung tâm Ung thư MD Anderson chạy một dự án riêng dựa trên Watson từ năm 2012. Một cuộc kiểm toán năm 2017 của hệ thống Đại học Texas cho thấy trung tâm đã trả hơn 62 triệu USD cho các đơn vị bên ngoài, chủ yếu là IBM và công ty tư vấn PwC. Hệ thống vẫn chưa được dùng để điều trị bệnh nhân. Kiểm toán viên lưu ý họ không đánh giá mặt khoa học, chỉ xét cách dự án được vận hành.

Tháng 7/2018, trang tin y tế STAT đưa tin về các slide nội bộ năm 2017 của IBM. Các slide mô tả những ví dụ Watson for Oncology đưa ra khuyến nghị điều trị không an toàn và không chính xác. Nguyên nhân được quy cho cách huấn luyện: dùng một số ít ca bệnh giả định (dữ liệu tổng hợp, không phải bệnh nhân thật), phản ánh quan điểm của vài chuyên gia thay vì hồ sơ bệnh nhân thực tế. IBM bảo vệ sản phẩm của mình.

Tháng 1/2022, IBM đồng ý bán mảng dữ liệu và phân tích của Watson Health cho quỹ đầu tư Francisco Partners. Giá bán không được công bố.

Câu đố có một đáp án đúng nằm sẵn ở đâu đó. Điều trị ung thư thì không. Bệnh nhân thật có hồ sơ lộn xộn, mắc nhiều bệnh cùng lúc, và phác đồ khác nhau giữa các bệnh viện, các nước. Một hệ thống xuất sắc với câu hỏi gọn gàng có thể vấp ngã trước mớ hỗn độn đó.

Học từ vài ca bệnh bịa ra khiến Watson học thói quen của một nhóm nhỏ chuyên gia, chứ không học được sự đa dạng của bệnh nhân thật. Màn trình diễn ấn tượng và công việc lâm sàng hằng ngày là hai bài kiểm tra khác nhau, và nó mới chỉ qua được một bài.

Khoảng cách này vẫn xuất hiện với các công cụ AI ngày nay. Bản demo của nhà cung cấp dùng ví dụ sạch sẽ, được chọn lọc. Dữ liệu của bạn cũ hơn, lạ hơn và đầy ngoại lệ. Điều quan trọng là công cụ làm tốt đến đâu trên chính các ca thật của bạn, do người hiểu nghề kiểm tra.

Ý tưởng đằng sau vụ nàyBài học: Duyệt bài AI như một người quản lý →

1. 1Hỏi AI được huấn luyện và kiểm thử trên dữ liệu nào, và dữ liệu đó có giống khách hàng hay bệnh nhân của bạn không.
2. 2Chạy thử trên chính các ca thật của bạn, có chuyên gia kiểm tra từng câu trả lời, trước khi cho nó tham gia quyết định.
3. 3Đo kết quả bằng con số dễ hiểu, như bao nhiêu lần lời khuyên đúng hoặc nguy hiểm, chứ không phải nó trông ấn tượng ra sao.
4. 4Luôn có một người đủ chuyên môn chịu trách nhiệm quyết định cuối cùng, và để họ dễ dàng bác bỏ công cụ.
5. 5Ghi rõ trong hợp đồng chuyện gì xảy ra nếu công cụ không đạt độ chính xác như đã hứa.