«airflow» 태그된 질문

문제 Airflow에서 작업 A가 완료 될 때까지 작업 B. *의 수를 알 수없는 워크 플로를 만들 수있는 방법이 있습니까? 나는 subdags를 보았지만 Dag 생성시 결정되어야하는 정적 작업 집합에서만 작동 할 수있는 것처럼 보입니다. dag 트리거가 작동합니까? 그렇다면 예를 들어주세요. 태스크 A가 완료 될 때까지 태스크 C를 계산하는 데 필요한 태스크 …

98 python  workflow  airflow 

를 사용하여 새로 설치 한 후 pip install apache-airflowpython 가져 오기 오류로 공기 흐름 실행 시도가 종료됩니다. Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> from …

19 python  flask  airflow  werkzeug 

올바르게 설치되었습니다. db가 올바르게 시작되었고 웹 서버를 시작하려고하면 다음 오류가 표시됩니다. 모든 것을 다시 설치했지만 여전히 작동하지 않습니다. 누군가 나를 도와 주시면 감사하겠습니다. 콘솔 출력 : $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ /_ __ /_ __ \_ | …

16 airflow 

닫은. 이 질문은 재현 할 수 없거나 오타가 원인 입니다. 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 질문을 업데이트하여 스택 오버플로에 대한 주제가 되도록하십시오 . 휴일 2 개월 전 . airflow -version 및 airflow initdb를 시도 할 때 위의 오류가 발생합니다. File "/home/ravi/sandbox/bin/airflow", line 26, in <module> from airflow.bin.cli import …

12 python  airflow 

https://github.com/helm/charts/tree/master/stable/airflow helm 차트 를 사용 puckle/docker-airflow하고 kubernetes가 설치된 v1.10.8 이미지를 만들고 helm 차트에서 해당 이미지를 사용하고 있습니다. File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line 95, in __init__ executor = get_default_executor() File …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

공기 흐름을 사용하여 "삭제되지 않는"버킷에서 파일을 삭제할 수 없음을 의미하는 s3 파일을 GCS로 이동하려고합니다. 새 파일이 매일있을 것이라고 보장 할 수는 없지만 매일 새 파일을 확인해야합니다. 내 문제는 subdags의 동적 생성입니다. 파일이 있으면 서브 덤이 필요합니다. 파일이 없으면 서브 덤이 필요하지 않습니다. 내 문제는 업스트림 / 다운 스트림 설정입니다. 내 …

10 python  airflow  directed-acyclic-graphs 

나는 아래와 같은 scenerio를 가지고있다 : 트리거 Task 1및 Task 2때만 새로운 데이터 소스 테이블 (아테나)에서 그들을 위해에 avialable이다. Task1 및 Task2에 대한 트리거는 하루에 새 데이터가 분할 될 때 발생합니다. 및 Task 3완료시에만 트리거Task 1Task 2 Task 4완료 만 트리거Task 3 내 코드 from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler