Kỹ sư dữ liệu · Bước 8/8 · 10 phút
Xây một pipeline cho portfolio
Lên kế hoạch và hoàn thành một pipeline nhỏ, trọn vẹn, cho nhà tuyển dụng thấy cách bạn làm việc.
Một dự án xong hơn năm bài hướng dẫn
Người tuyển dụng muốn thấy bạn đưa được dữ liệu từ một nguồn thật thành một bảng đáng tin, và giải thích được lựa chọn của mình. Một dự án nhỏ, làm đến nơi đến chốn và có tài liệu, chứng minh điều đó tốt hơn một danh sách chứng chỉ khoá học.
Một khung dự án hiệu quả
Chọn một nguồn công khai miễn phí có cập nhật thường xuyên, như thời tiết, giao thông công cộng, dữ liệu mở của nhà nước hay tỷ giá. Lấy dữ liệu hằng ngày bằng Python. Lưu dữ liệu thô dưới dạng file hoặc bảng. Biến đổi bằng SQL, tốt nhất là với dbt, thành một star schema nhỏ. Thêm test. Lên lịch bằng một orchestrator hoặc một workflow GitHub Actions chạy theo lịch.
DuckDB giúp mọi thứ miễn phí và chạy trên máy. Nếu dùng kho dữ liệu cloud, hãy đặt cảnh báo ngân sách trước và ở trong giới hạn gói miễn phí.
Nên trình bày gì
Đưa code lên một repository Git công khai. README nên nêu câu hỏi mà dữ liệu trả lời, sơ đồ pipeline, grain của từng bảng, các test bạn chạy và cách chạy dự án. Thêm một đoạn ngắn về những gì bạn sẽ thay đổi khi quy mô lớn hơn.
Kể lại một lỗi bạn gặp và cách bạn sửa. Điều đó nói với nhà tuyển dụng nhiều hơn một lần chạy hoàn hảo.
Giữ bí mật ngoài repo
Không bao giờ commit API key hay mật khẩu. Dùng biến môi trường hoặc kho bí mật (secret store) của nền tảng, và thêm .gitignore trước commit đầu tiên. Nếu lỡ để key lọt vào lịch sử Git, hãy thu hồi nó ngay; xoá file thôi là không đủ.
Thử ngay
Viết kế hoạch dự án
- 1.Chọn một nguồn dữ liệu và câu hỏi nó sẽ trả lời.
- 2.Hỏi chatbot bằng câu lệnh bên dưới.
- 3.Cắt bớt kế hoạch cho đến khi bạn làm xong bản đầu trong hai cuối tuần.
- 4.Tạo repository trống và README ngay hôm nay.
Tôi đang làm một dự án kỹ sư dữ liệu cho portfolio. Nguồn: [nguồn]. Câu hỏi: [câu hỏi]. Các công cụ miễn phí tôi muốn dùng: Python, DuckDB, dbt, GitHub Actions. Hãy cho tôi kế hoạch hai cuối tuần với các mốc, các bảng cần xây kèm grain, năm test dữ liệu, và dàn ý README.