Hồ sơ 05
Thiên kiến
 
Amazon
 
Hoa Kỳ
 
2018

Công cụ tuyển dụng học cách ưu tiên nam giới

Một mô hình thử nghiệm lọc hồ sơ xin việc học từ mười năm ứng viên phần lớn là nam, và bắt đầu chấm thấp những CV có nhắc tới phụ nữ.

Chuyện gì đã xảy ra

Từ năm 2014, một nhóm ở Amazon xây dựng phần mềm chấm điểm ứng viên từ một đến năm sao, để nhà tuyển dụng tìm người giỏi nhanh hơn. Mô hình học từ các CV gửi tới công ty trong mười năm trước đó.

Đến năm 2015, nhóm nhận ra nó không chấm ứng viên cho các vị trí kỹ thuật một cách trung lập về giới. Theo Reuters, nó trừ điểm những CV có chữ "women's" (của phụ nữ), như trong "câu lạc bộ cờ vua nữ".

Kỹ sư sửa mô hình để bỏ qua những từ đó, nhưng không thể chắc nó sẽ không tìm cách khác để phân biệt đối xử. Dự án bị dừng. Reuters đưa tin vào tháng 10/2018, và cho biết nhà tuyển dụng từng xem gợi ý của công cụ nhưng chưa bao giờ chỉ dựa vào nó.

Vì sao lại xảy ra

Học máy (machine learning) tìm quy luật trong các ví dụ cũ. Trong lịch sử thiên về kỹ thuật đó, phần lớn CV, và phần lớn người được tuyển, là nam. Vì thế mô hình học rằng dấu hiệu của phụ nữ đi kèm với "không được tuyển", và coi đó là điểm trừ.

Xóa một chữ không xóa được quy luật. Mô hình có thể nhặt cùng tín hiệu đó từ manh mối khác, như tên câu lạc bộ, tên trường hay cách dùng từ. Thiên lệch trong dữ liệu cũ trở thành thiên lệch trong dự đoán.

Ý tưởng đằng sau vụ nàyBài học: Máy học như thế nào →

Điều gì lẽ ra đã ngăn được

  1. 1Trước khi huấn luyện hay mua một mô hình, hỏi nó học từ dữ liệu cũ nào và ai bị thiếu trong dữ liệu đó.
  2. 2Kiểm tra kết quả theo từng nhóm (ví dụ theo giới tính hay độ tuổi) trước khi dùng, và tiếp tục kiểm tra sau khi triển khai.
  3. 3Chỉ dùng điểm của AI như một thông tin cho quyết định của con người, không bao giờ làm bộ lọc tự động.
  4. 4Yêu cầu nhà cung cấp đưa bằng chứng đã kiểm tra thiên lệch, bằng văn bản.
  5. 5Cho ứng viên cách yêu cầu được con người xem xét lại.
Một nhà cung cấp chào bán công cụ AI xếp hạng ứng viên, được huấn luyện từ các quyết định tuyển dụng của chính công ty bạn trong mười năm qua. Quản lý của bạn phần lớn thuộc một nhóm người. Câu hỏi quan trọng nhất cần hỏi trước là gì?

Nếu là bạn, bạn có nhận ra không?

Một nhà cung cấp chào bán công cụ AI xếp hạng ứng viên, được huấn luyện từ các quyết định tuyển dụng của chính công ty bạn trong mười năm qua. Quản lý của bạn phần lớn thuộc một nhóm người. Câu hỏi quan trọng nhất cần hỏi trước là gì?

Nguồn

  1. Amazon scraps secret AI recruiting tool that showed bias against women · Reuters · 2018-10-10
  2. Amazon scrapped 'sexist AI' tool · BBC News · 2018-10-10

Đừng để công ty bạn thành một hồ sơ.

Chúng tôi giúp đội của bạn dùng AI kèm đúng những bước kiểm tra lẽ ra đã ngăn được mọi vụ trên trang này.

Đào tạo AI cho doanh nghiệp
Hồ sơ tiếp theo →Điểm rủi ro làm tan nát nhiều gia đình