- Hồ sơ 05
- Thiên kiến
- Amazon
- Hoa Kỳ
- 2018
Công cụ tuyển dụng học cách ưu tiên nam giới
Một mô hình thử nghiệm lọc hồ sơ xin việc học từ mười năm ứng viên phần lớn là nam, và bắt đầu chấm thấp những CV có nhắc tới phụ nữ.
Chuyện gì đã xảy ra
Từ năm 2014, một nhóm ở Amazon xây dựng phần mềm chấm điểm ứng viên từ một đến năm sao, để nhà tuyển dụng tìm người giỏi nhanh hơn. Mô hình học từ các CV gửi tới công ty trong mười năm trước đó.
Đến năm 2015, nhóm nhận ra nó không chấm ứng viên cho các vị trí kỹ thuật một cách trung lập về giới. Theo Reuters, nó trừ điểm những CV có chữ "women's" (của phụ nữ), như trong "câu lạc bộ cờ vua nữ".
Kỹ sư sửa mô hình để bỏ qua những từ đó, nhưng không thể chắc nó sẽ không tìm cách khác để phân biệt đối xử. Dự án bị dừng. Reuters đưa tin vào tháng 10/2018, và cho biết nhà tuyển dụng từng xem gợi ý của công cụ nhưng chưa bao giờ chỉ dựa vào nó.
Vì sao lại xảy ra
Học máy (machine learning) tìm quy luật trong các ví dụ cũ. Trong lịch sử thiên về kỹ thuật đó, phần lớn CV, và phần lớn người được tuyển, là nam. Vì thế mô hình học rằng dấu hiệu của phụ nữ đi kèm với "không được tuyển", và coi đó là điểm trừ.
Xóa một chữ không xóa được quy luật. Mô hình có thể nhặt cùng tín hiệu đó từ manh mối khác, như tên câu lạc bộ, tên trường hay cách dùng từ. Thiên lệch trong dữ liệu cũ trở thành thiên lệch trong dự đoán.
Ý tưởng đằng sau vụ nàyBài học: Máy học như thế nào →
Điều gì lẽ ra đã ngăn được
- 1Trước khi huấn luyện hay mua một mô hình, hỏi nó học từ dữ liệu cũ nào và ai bị thiếu trong dữ liệu đó.
- 2Kiểm tra kết quả theo từng nhóm (ví dụ theo giới tính hay độ tuổi) trước khi dùng, và tiếp tục kiểm tra sau khi triển khai.
- 3Chỉ dùng điểm của AI như một thông tin cho quyết định của con người, không bao giờ làm bộ lọc tự động.
- 4Yêu cầu nhà cung cấp đưa bằng chứng đã kiểm tra thiên lệch, bằng văn bản.
- 5Cho ứng viên cách yêu cầu được con người xem xét lại.
Nguồn
- Amazon scraps secret AI recruiting tool that showed bias against women · Reuters · 2018-10-10
- Amazon scrapped 'sexist AI' tool · BBC News · 2018-10-10
Đừng để công ty bạn thành một hồ sơ.
Chúng tôi giúp đội của bạn dùng AI kèm đúng những bước kiểm tra lẽ ra đã ngăn được mọi vụ trên trang này.
Đào tạo AI cho doanh nghiệp