Apache Airflow 2.1.4 发布,Airbnb 开源的调度系统
Apache Airflow 2.1.4 已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志记录,Airflow 可以对从单个服务器到大规模集群的资源进行自动化管理。Airflow 采用 Python 编写,具有高扩展性,能够运行其他语言编写的任务,并允许与常用的体系结构和项目集成,如 AWS S3、Docker、Kubernetes、MySQL、PostgresSQL 等。 主要更新内容 修复弃用错误消息而不是使其静音 限制调度程序创建的排队 dagruns 的数量 修复 DagRun 执行顺序从排队到运行没有被正确遵循 修复 max_active_runs 不允许将排队的 dagruns 移动到运行状态 避免为没有权限的用户重定向循环 当用户没有角色时避免无限重定向循环 修复图形 TI 模态上的日志链接 如果用户没有权限,隐藏变量导入表单 改进 dag/task 并发检查 修复清除任务实例端点重置所有 DAG 运行错误 修复传递给视图的错误参数 ...