공기 흐름을 사용하여 "삭제되지 않는"버킷에서 파일을 삭제할 수 없음을 의미하는 s3 파일을 GCS로 이동하려고합니다. 새 파일이 매일있을 것이라고 보장 할 수는 없지만 매일 새 파일을 확인해야합니다. 내 문제는 subdags의 동적 생성입니다. 파일이 있으면 서브 덤이 필요합니다. 파일이 없으면 서브 덤이 필요하지 않습니다. 내 문제는 업스트림 / 다운 스트림 설정입니다. 내 …
나는 아래와 같은 scenerio를 가지고있다 : 트리거 Task 1및 Task 2때만 새로운 데이터 소스 테이블 (아테나)에서 그들을 위해에 avialable이다. Task1 및 Task2에 대한 트리거는 하루에 새 데이터가 분할 될 때 발생합니다. 및 Task 3완료시에만 트리거Task 1Task 2 Task 4완료 만 트리거Task 3 내 코드 from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor …