Công thức mới thắng phép thử vị, nhưng mất lòng khách

Đầu những năm 1980, Coca-Cola dần mất thị phần vào tay Pepsi, hãng tổ chức các cuộc thử vị bịt mắt "Pepsi Challenge" mà ở đó nhiều người thích vị Pepsi ngọt hơn khi chỉ nhấp một ngụm. Coca-Cola phát triển một công thức ngọt hơn và thử với gần 200.000 người tiêu dùng, theo số liệu của công ty. Trong các phép thử bịt mắt, nhiều người thích vị mới hơn.

Ngày 23/4/1985, công ty công bố công thức mới và ngừng sản xuất công thức cũ. Rất nhiều khách hàng phản ứng giận dữ. Công ty nhận vô số cuộc gọi và hàng chục nghìn lá thư phàn nàn, một số người còn tích trữ nước ngọt kiểu cũ. Với nhiều người, Coca-Cola cũ gắn với kỷ niệm và bản sắc, và họ thấy như bị lấy mất một thứ của mình.

Ngày 11/7/1985, 79 ngày sau khi đổi, Coca-Cola thông báo công thức gốc sẽ trở lại với tên "Coca-Cola Classic". Không lâu sau, bản Classic bán chạy hơn cả công thức mới lẫn Pepsi.

Các phép thử đo đúng thứ chúng được thiết kế để đo: người ta thích thức uống nào trong một ngụm nhanh. Chúng không hỏi người ta sẽ thấy thế nào nếu thức uống cũ biến mất mãi mãi. Dữ liệu là thật, nhưng trả lời một câu hỏi hẹp hơn quyết định đang được đưa ra.

Góc nhìn AI: hệ thống AI được huấn luyện và kiểm tra theo một thước đo do ai đó chọn. Một mô hình có thể đạt điểm cao theo thước đo đó mà vẫn bỏ lỡ điều con người thực sự quan tâm. Trước khi tin một kết quả, hãy hỏi phép thử có khớp với quyết định thật không.

Ý tưởng đằng sau vụ nàyBài học: Bảng tính và dữ liệu →

1. 1Trước khi hành động theo một phép thử, viết ra quyết định thật và kiểm tra phép thử có hỏi đúng câu đó không.
2. 2Hỏi khách sẽ thấy thế nào nếu mất đi một thứ, đừng chỉ hỏi họ thích lựa chọn nào hơn.
3. 3Triển khai thay đổi lớn ở một nơi trước, thay vì mọi nơi cùng lúc.
4. 4Luôn giữ đường lui, và sẵn sàng dùng nó nhanh nếu phản ứng không tốt.