3 단계. 파이프라인 실행¶
이 단계에서는 Airflow에서 DAG를 확인하고 실행합니다.
3-1. Airflow 접속 및 DAG 확인¶
워크스페이스 > 플랫폼 앱 > Airflow
Airflow 메인 페이지(DAGs 목록)에서 wind_power_prediction DAG를 찾습니다.
DAG가 목록에 없는 경우
Gitea push 후 Airflow가 동기화하는 데 약 30초~1분이 소요됩니다. 페이지를 새로 고침하거나 잠시 기다려보세요.
DAG 이름 왼쪽의 토글이 활성화(파란색) 상태인지 확인합니다. 비활성 상태라면 토글을 클릭하여 활성화합니다.
3-2. DAG 트리거¶
DAG 목록에서 wind_power_prediction 행 오른쪽의 ▶ (Trigger DAG) 버튼을 클릭합니다.
확인 팝업이 나타나면 Trigger 버튼을 클릭합니다.
CLI로 트리거하기 (선택사항)
Airflow REST API를 통해 터미널에서 DAG를 트리거할 수도 있습니다. Code-server 터미널에서 아래 명령을 실행합니다.
AIRFLOW_HOST="https://{Airflow 접속 URL}"
DAG_ID="wind_power_prediction"
API_KEY="{RUNWAY_API_KEY}"
curl -X POST \
"${AIRFLOW_HOST}/api/v2/dags/${DAG_ID}/dagRuns" \
-H "Authorization: Bearer ${API_KEY}" \
-H "Content-Type: application/json" \
-d '{"conf": {}}'
AIRFLOW_HOST: 워크스페이스 > 플랫폼 앱 > Airflow 접속 URLAPI_KEY: 2단계에서 입력한RUNWAY_API_KEY와 동일한 값
3-3. 실행 상태 확인¶
DAG 이름을 클릭하면 상세 페이지로 이동합니다.
Grid 뷰에서 각 Task의 실행 상태를 확인합니다. Task 5개가 왼쪽에서 오른쪽 순서로 순차 실행됩니다.
| 상태 색상 | 의미 |
|---|---|
| 초록 (테두리) | 실행 중 |
| 초록 (채움) | 성공 |
| 빨강 | 실패 |
| 회색 | 대기 중 |
전체 완료까지 약 {X}분이 소요됩니다.
Task 로그 확인¶
실행 중이거나 실패한 Task를 클릭하면 팝업이 나타납니다. Logs 탭을 클릭하면 실행 로그를 확인할 수 있습니다.
실패 시 확인 포인트
log_to_mlflow태스크 실패:RUNWAY_API_KEY또는 S3 인증 정보가 잘못 입력되었을 가능성이 높습니다.load_data태스크 실패:turbine_data.csv파일이 DAG 파일과 같은 디렉토리에 있는지 확인하세요.
다음 단계에서는 MLflow에서 실험 결과와 등록된 모델을 확인합니다.