Kỹ sư ML thực sự làm gì

Kỹ sư ML (machine learning, học máy) biến một model (mô hình) chạy được trên laptop thành thứ phục vụ hàng nghìn người mỗi ngày mà không gãy. Bạn có huấn luyện model. Nhưng phần lớn công việc là phần code bao quanh nó: đưa dữ liệu vào, trả kết quả dự đoán, kiểm thử, và theo dõi chuyện gì xảy ra sau khi ra mắt.

Hãy coi đây là kỹ thuật phần mềm, chỉ khác là có một bộ phận tự học từ dữ liệu. Bộ phận đó không cư xử như code thông thường. Thứ Hai nó đúng, đến thứ Sáu nó có thể sai mà không báo lỗi, vì thế giới mà nó được huấn luyện đã thay đổi.

Hai chức danh này chồng lấn nhau, và mỗi công ty vạch ranh giới một kiểu. Quy tắc thô: data scientist (nhà khoa học dữ liệu) hỏi 'dữ liệu này nói lên điều gì, và ta nên làm gì?'. Kỹ sư ML hỏi 'làm sao để dự đoán này chạy nhanh, ổn định và rẻ trên môi trường production (vận hành thật)?'.

Data scientist dựa nhiều vào thống kê, thử nghiệm và khả năng trình bày. Kỹ sư ML dựa vào kỹ năng phần mềm: Python sạch, API, container, dịch vụ cloud, kiểm thử. Ở nhóm nhỏ, một người làm cả hai. Ở nhóm lớn, hai bên chuyền việc qua lại.

Bạn sẽ làm sạch và ghép dữ liệu, huấn luyện lại model khi có dữ liệu mới, so sánh với model đang chạy, rồi đưa nó lên sau một API. Bạn review pull request, sửa một pipeline hỏng lúc 3 giờ sáng, và giải thích với product manager vì sao model mới tốt hơn với nhóm khách hàng này nhưng kém hơn với nhóm kia.

Từ năm 2023, nhiều kỹ sư ML còn xây tính năng dựa trên mô hình ngôn ngữ lớn (LLM). Việc này ít liên quan đến huấn luyện, mà chủ yếu là prompt, truy xuất tài liệu, đánh giá và chi phí. Lộ trình này dạy cả hai.

Python cơ bản, quen dùng terminal, và toán phổ thông: trung bình, phần trăm, hiểu độ dốc của đường thẳng là gì. Bạn không cần bằng tiến sĩ. Đại số tuyến tính và thống kê bạn sẽ học dần khi cần, mỗi lần một khái niệm.