Apache Airflow 2.0 发布,Airbnb 开源的调度系统
Apache Airflow 2.0.0 已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志记录,Airflow 可以对从单个服务器到大规模集群的资源进行自动化管理。Airflow 采用 Python 编写,具有高扩展性,能够运行其他语言编写的任务,并允许与常用的体系结构和项目集成,如 AWS S3、Docker、Kubernetes、MySQL、PostgresSQL 等。 下面简单介绍 2.0 版本的主要新特性。 更新 UI Airflow 2.0 对 UI 进行了重大更新,并升级了部分样式。 引入编写 dag(有向无环图)的新方法:TaskFlow API 新的方法对依赖关系的处理更清晰,XCom 也更易于使用。 示例 from airflow.decorators import dag, task from airflow.utils.dates import days_ago @dag(default_args={'owner'...



