1
파이썬에서 DAG를 사용하여 AWS athena 테이블에서 새 파티션 / 데이터를 사용할 수있는 경우에만 에어 플로우 작업을 트리거하는 방법은 무엇입니까?
나는 아래와 같은 scenerio를 가지고있다 : 트리거 Task 1및 Task 2때만 새로운 데이터 소스 테이블 (아테나)에서 그들을 위해에 avialable이다. Task1 및 Task2에 대한 트리거는 하루에 새 데이터가 분할 될 때 발생합니다. 및 Task 3완료시에만 트리거Task 1Task 2 Task 4완료 만 트리거Task 3 내 코드 from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor …