Công cụ theo dõi cúm quên đối chiếu với cúm thật

Năm 2008, Google ra mắt Flu Trends. Ý tưởng là: khi càng nhiều người tìm kiếm triệu chứng cúm, có lẽ càng nhiều người đang bị cúm. Một bài báo trên tạp chí Nature năm 2009 mô tả cách nó hoạt động: chọn ra 45 cụm từ tìm kiếm, trong số 50 triệu ứng viên, có mức lên xuống khớp nhất với số liệu cúm chính thức của Trung tâm Kiểm soát và Phòng ngừa Dịch bệnh Hoa Kỳ (CDC).

Lúc đầu, nó có vẻ cho bức tranh về dịch cúm nhanh hơn CDC, vốn công bố số liệu trễ một đến hai tuần. Nhưng nó bỏ sót hoàn toàn đại dịch cúm lợn năm 2009, vốn bùng lên ngoài mùa cúm thông thường, và Google phải cập nhật mô hình.

Tháng 2/2013, Nature đưa tin Flu Trends ước tính tỷ lệ lượt khám vì triệu chứng giống cúm cao hơn gấp đôi con số CDC ghi nhận. Một phân tích năm 2014 trên tạp chí Science cho thấy nó đã ước tính quá cao trong 100 trên 108 tuần kể từ tháng 8/2011, và một dự báo đơn giản dựa trên chính số liệu trễ của CDC còn làm tốt hơn.

Tháng 8/2015, Google ngừng công bố ước tính của Flu Trends, thay vào đó chia sẻ dữ liệu cho một số nhóm nghiên cứu để họ tự xây mô hình.

Flu Trends tìm ra những cụm từ tìm kiếm lên xuống cùng mùa cúm, chứ không phải những cụm từ do cúm gây ra. Các tác giả bài báo trên Science chỉ ra rằng một số kết quả khớp ban đầu chẳng liên quan gì đến bệnh, như tìm kiếm về bóng rổ học sinh trung học, môn cũng cao điểm vào mùa đông. Những mẫu hình như vậy trông rất khớp với dữ liệu cũ rồi thất bại về sau.

Thế giới bên dưới mô hình cũng liên tục thay đổi. Chính Google đổi cách công cụ tìm kiếm hoạt động, chẳng hạn gợi ý thêm cụm từ tìm kiếm, và tin tức về cúm có thể khiến cả người khỏe cũng đi tìm kiếm. Các tác giả gọi sai lầm cốt lõi là "big data hubris" (sự ngạo mạn của dữ liệu lớn): coi một đống dữ liệu khổng lồ là thứ thay thế cho đo lường cẩn thận, thay vì chỉ là phần bổ sung.

AI ngày nay có cùng điểm yếu. Một mô hình có thể tìm ra quy luật khớp với quá khứ mà không hiểu nguyên nhân. Nếu không ai liên tục đối chiếu kết quả của nó với số đo thật, độc lập, nó có thể trôi lệch hàng năm trời mà vẫn trông bận rộn và tự tin.

Ý tưởng đằng sau vụ nàyBài học: Kiểm tra lại lời AI nói →

1. 1Giữ một thước đo sự thật đáng tin, độc lập, và định kỳ so con số của AI với nó.
2. 2Kết hợp ước tính của AI với dữ liệu truyền thống, thay vì bỏ dữ liệu truyền thống đi.
3. 3Tự hỏi một mẫu hình có hợp lý như một nguyên nhân không, hay chỉ tình cờ khớp với quá khứ.
4. 4Kiểm tra lại mô hình mỗi khi nguồn dữ liệu của nó thay đổi, như ứng dụng, biểu mẫu hay website mới.
5. 5Công khai cách tính ước tính, để người ngoài sớm phát hiện vấn đề.