Điều phối và DAG

Một script chạy theo hẹn giờ vẫn ổn cho đến khi bạn có hai mươi cái. Lúc đó các tác vụ phụ thuộc lẫn nhau, có cái lỗi, có cái cần chạy lại cho thứ Ba tuần trước, và bạn cần biết cái gì đã chạy, lúc nào. Công cụ điều phối (orchestrator) lo việc này.

Apache Airflow là cái tên nổi tiếng nhất, và Airflow 3 là phiên bản lớn hiện tại. Dagster và Prefect là các lựa chọn phổ biến khác, và các nhà cung cấp cloud có bản dịch vụ quản lý sẵn.

Các orchestrator mô tả công việc dưới dạng DAG, đồ thị có hướng không chu trình (directed acyclic graph). Có hướng nghĩa là mỗi mũi tên chỉ một chiều: extract trước rồi mới transform. Không chu trình nghĩa là không có vòng lặp, nên công việc luôn có điểm kết thúc.

Mỗi ô trong đồ thị là một tác vụ (task). Orchestrator chạy một task khi các task trước nó thành công, và có thể chạy song song các task độc lập.

Mạng chập chờn và API hết thời gian chờ, nên task nên tự thử lại vài lần, có khoảng nghỉ. Backfill là chạy lại pipeline cho các ngày trong quá khứ, ví dụ sau khi sửa lỗi. Backfill chỉ an toàn khi task có tính luỹ đẳng và nhận ngày chạy làm đầu vào thay vì tự lấy ngày hôm nay.

Cảnh báo báo cho một người biết khi có gì đó lỗi hẳn. Gửi chúng đến nơi mọi người thật sự xem, và giữ số lượng ít, nếu không sẽ bị phớt lờ.

Để orchestrator lo lên lịch và theo dõi. Phần xử lý nặng nên để trong kho dữ liệu hoặc một engine xử lý, không nhét vào chính orchestrator. Task nhỏ với đầu vào và đầu ra rõ ràng dễ chạy lại và dễ gỡ lỗi hơn.