Kỹ sư dữ liệu làm gì

Mỗi biểu đồ trong công ty đều đứng trên dữ liệu mà ai đó đã thu thập, làm sạch và lưu lại. Người đó là kỹ sư dữ liệu. Bạn xây các hệ thống đưa dữ liệu từ nơi nó sinh ra, như ứng dụng, phần mềm bán hàng hay cảm biến, đến nơi nó được dùng.

Làm tốt thì không ai để ý. Số liệu có sẵn mỗi sáng, đúng và đúng giờ. Khi có sự cố, cả công ty cùng để ý một lúc.

Chuyên viên phân tích dữ liệu (data analyst) trả lời câu hỏi kinh doanh bằng dữ liệu: vì sao doanh số giảm, sản phẩm nào bán chạy. Nhà khoa học dữ liệu (data scientist) xây mô hình để dự đoán hoặc phân loại: ai sắp huỷ dịch vụ, nên gợi ý gì tiếp theo.

Kỹ sư dữ liệu làm cho cả hai việc đó khả thi. Bạn phụ trách pipeline, kho lưu trữ và độ ổn định. Ở công ty nhỏ, một người có thể kiêm cả ba. Ở công ty lớn, ranh giới rõ hơn, và kỹ sư dữ liệu gần với kỹ sư phần mềm nhất.

Bạn viết SQL và Python. Bạn thêm một nguồn dữ liệu mới, sửa pipeline bị lỗi lúc nửa đêm, tăng tốc một câu truy vấn chậm, và thống nhất với chuyên viên phân tích xem một cột thực sự có nghĩa là gì. Bạn dành nhiều thời gian cho chất lượng dữ liệu và cách đặt tên hơn là cho code khéo léo.

Công cụ thay đổi vài năm một lần. Các ý tưởng trong lộ trình này thì không: mô hình hoá dữ liệu rõ ràng, chuyển dữ liệu ổn định, kiểm thử nó, và để lỗi lộ ra thật rõ.

SQL cơ bản, một chút Python, quen dùng dòng lệnh, và kiên nhẫn với dữ liệu lộn xộn. Bạn không cần bằng khoa học máy tính. Nhưng bạn cần thích đi tìm lý do vì sao hai con số lẽ ra phải khớp lại không khớp.