Những chuyên gia rất tự tin, và phần lớn đoán sai

Trong khoảng hai thập kỷ, nhà tâm lý học Philip Tetlock đề nghị 284 người chuyên bình luận hoặc tư vấn về chính trị, kinh tế đưa ra xác suất cho các sự kiện tương lai. Đến năm 2003, ông đã thu được 82.361 dự đoán. Kết quả được công bố năm 2005 trong cuốn Expert Political Judgment.

Ông chấm điểm các dự đoán so với những gì thực sự xảy ra, và so với các quy tắc thống kê đơn giản cũng như người không chuyên. Chuyên gia trung bình chỉ nhỉnh hơn đoán ngẫu nhiên một chút, và hơi kém hơn những quy tắc đơn giản kiểu "mọi thứ sẽ tiếp tục như cũ". Bằng cấp hay quyền tiếp cận thông tin mật không giúp phân biệt người dự báo giỏi với người dự báo kém.

Thứ thực sự tạo khác biệt là lối tư duy. Mượn hình ảnh của triết gia Isaiah Berlin, Tetlock gọi một số chuyên gia là "nhím": họ nắm một ý tưởng lớn và áp nó vào mọi chuyện, rất tự tin. Những người khác là "cáo": họ dựa vào nhiều nguồn, chấp nhận sự không chắc chắn và dễ đổi ý hơn. Cáo dự báo tốt hơn.

Từ năm 2011, Tetlock và Barbara Mellers dẫn dắt Good Judgment Project trong một giải đấu dự báo do IARPA, cơ quan nghiên cứu của giới tình báo Mỹ, tổ chức. Đội tình nguyện viên của họ thắng bốn đội nghiên cứu đối thủ. Đào tạo về xác suất, làm việc theo nhóm và gom 2% người giỏi nhất vào các nhóm tinh hoa đều làm dự báo chính xác hơn và sát thực tế hơn về mức độ tự tin.

Nghiên cứu tách bạch hai thứ người ta hay nhập làm một: nghe có vẻ chắc chắn và thực sự đúng. Một người dự báo được gọi là hiệu chỉnh tốt (well calibrated) khi những việc họ nói có 70% khả năng xảy ra thì quả thật xảy ra khoảng 70% số lần. Nhiều chuyên gia tự tin không đạt được điều đó.

Chatbot có khoảng cách tương tự, thường còn lớn hơn. Mô hình ngôn ngữ viết với giọng trôi chảy, chắc chắn dù đúng hay sai, vì chữ nghĩa tự tin là thứ nó đã học để tạo ra. Giọng điệu của nó cho biết về cách viết, không cho biết về độ chính xác.

Những người dự báo giỏi của Tetlock gợi ý một cách dùng AI tốt hơn: hỏi xác suất và lý do, so sánh nhiều góc nhìn, cập nhật khi có thông tin mới, và ghi lại tần suất công cụ trả lời đúng ở những câu bạn kiểm chứng được.

Ý tưởng đằng sau vụ nàyBài học: Vì sao AI bịa chuyện →

1. 1Hỏi AI nó chắc đến mức nào, vì sao, và điều gì sẽ làm nó đổi ý, thay vì chấp nhận một câu trả lời cụt lủn.
2. 2Ghi chép đơn giản xem những câu trả lời tự tin của một công cụ đúng bao nhiêu lần ở những điều bạn kiểm tra được.
3. 3So sánh câu trả lời từ nhiều nguồn, hoặc hỏi cùng một câu theo nhiều cách, trước khi hành động dựa trên một dự đoán.
4. 4Ưu tiên câu trả lời thừa nhận sự không chắc chắn và đưa ra khoảng giá trị, hơn là câu trả lời quả quyết về một tương lai bất định.
5. 5Xem lại các dự báo quan trọng dựa trên AI khi có thông tin mới, như một con cáo.