Xác suất và thống kê để ra quyết định

Bạn gần như không bao giờ quan sát được tất cả. Bạn chỉ thấy một mẫu: những khách trả lời khảo sát, những người ghé trang web trong một tuần. Với một mẫu khác, con số sẽ ra hơi khác. Thống kê, về cơ bản, là nghệ thuật nói rõ bạn chắc chắn đến đâu khi biết có sự dao động đó.

Mẫu càng lớn càng ít dao động, nhưng một mẫu lớn thu thập lệch vẫn là mẫu lệch. Mười nghìn câu trả lời chỉ từ những khách hài lòng nhất thì chỉ nói về những khách hài lòng nhất.

Khoảng tin cậy (confidence interval) đưa ra một khoảng thay vì một con số duy nhất. “Giá trị đơn trung bình là 420 nghìn đồng, khoảng tin cậy 95% từ 390 đến 450 nghìn” nghĩa là phương pháp được dùng thường tạo ra những khoảng chứa giá trị thật khoảng 95% số lần. Khoảng rộng là cách nói trung thực rằng “ta chưa biết chính xác lắm”.

Khi báo cáo, hãy đưa cả khoảng. Người ra quyết định xử lý sự không chắc chắn tốt hơn bạn tưởng, và tốt hơn nhiều so với một sự chính xác giả tạo.

p-value (giá trị p) trả lời một câu hỏi hẹp: nếu thực sự không có tác động nào, dữ liệu như của ta sẽ bất ngờ đến mức nào? p-value nhỏ, thường dưới 0,05, cho biết dữ liệu khá bất thường nếu giả định “không có tác động”. Nó không cho biết xác suất ý tưởng của bạn đúng, và cũng không nói tác động có đủ lớn để đáng quan tâm hay không.

Thử đủ nhiều thứ, sẽ có cái trông có ý nghĩa chỉ nhờ may mắn. Hãy quyết định sẽ kiểm định gì trước khi nhìn dữ liệu, và báo cáo cả độ lớn tác động, không chỉ p-value.

A/B test chia ngẫu nhiên người dùng vào hai phiên bản rồi so sánh một kết quả. Ngẫu nhiên là mấu chốt: nó khiến hai nhóm giống nhau ở mọi mặt trừ thay đổi bạn tạo ra, nên khác biệt có thể quy cho thay đổi đó. Hãy chốt cỡ mẫu và chỉ số từ trước, và đừng dừng sớm ngay khi kết quả trông đẹp.

Nghịch lý Simpson là lời cảnh báo khi gộp các nhóm. Một phương án có thể tốt hơn ở mọi nhóm con nhưng lại kém hơn khi gộp chung, nếu các nhóm khác nhau về quy mô và thành phần. Luôn hỏi xem có biến ẩn nào đang chi phối con số tổng hay không.