Apache Airflow 2.2.1 发布,Airbnb 开源的调度系统
Apache Airflow 2.2.1 已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志记录,Airflow 可以对从单个服务器到大规模集群的资源进行自动化管理。Airflow 采用 Python 编写,具有高扩展性,能够运行其他语言编写的任务,并允许与常用的体系结构和项目集成,如 AWS S3、Docker、Kubernetes、MySQL、PostgresSQL 等。 主要更新内容 修复调度程序中的意外提交错误 添加 DagRun.logical_date 作为属性 任务完成时清除 ti.next_method 和 ti.next_kwargs 更快的 PostgreSQL 数据库迁移到 Airflow 2.2 删除 Swagger2Specification._set_defaults 类方法中不正确的类型注释 将 TriggererJob 添加到作业检查命令 当下一次运行为 None 时隐藏工具提示 使用数据间隔兼容层创建 TI 上下文 ...
