Apache Airflow 2.2.0 发布,Airbnb 开源的调度系统
Apache Airflow 2.2.0 已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志记录,Airflow 可以对从单个服务器到大规模集群的资源进行自动化管理。Airflow 采用 Python 编写,具有高扩展性,能够运行其他语言编写的任务,并允许与常用的体系结构和项目集成,如 AWS S3、Docker、Kubernetes、MySQL、PostgresSQL 等。 主要更新内容 新功能 AIP-39: 为 Airflow 添加(可定制的)时间表类,以实现更丰富的调度行为 AIP-40: 添加可延迟的 "异步" 任务 添加 Docker 任务流装饰器 在仪表盘上显示来自本地设置的警报信息 使用 json-schema 的高级参数 能够测试来自 UI 或 API 的连接 将 Next Run 添加到 UI 添加默认权重规则配置选项 添加日历字段以在触发时选择 DAG 的执行日期 允许为 BashOperator 设置特定的 cwd 在 DAG...
