Taier是袋鼠云数栈大数据家族的开源项目之一 ，它是一个分布式可视化的DAG任务调度系统，旨在降低ETL开发成本、提高大数据平台稳定性，让大数据开发人员可以在Taier直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。
一、架构设计和功能详解
在架构设计与功能特点上，Taier整体架构是使用插件式的开发模式，在任务开发下面有调度模块和各项组件，也包括数栈开源家族的Chunjun等等。
![]()
（一）Taier功能特点
Taier的功能特点有下面几个比较重要的方面：
1.任务类型：Spark SQL、数据同步(流计算任务)；
2.控制台：包括队列管理、资源管理、多集群管理等；
3.运维中心：比如任务管理、周期调度、补数据等；
4.插件化开发：具体包括 taier-plugin、、DatasourceX、Chunjun等几个插件。
![]()
（二）Taier功能特征
随着不断更新完善，现在的Taier已经具有以下的几种特性：
1、拓展性
2、易用性
-
支持大数据作业Spark、Flink的调度；
-
支持众多的任务类型，目前支持Spark SQL、Chunjun
-
可视化工作流配置︰支持封装工作流、支持单任务运行，不必封装工作流、支持拖拽模式绘制；
-
DAG监控界面:运维中心、支持集群资源查看，了解当前集群资源的剩余情况、支持对调度队列中的任务批量停止、任务状态、任务类型、重试次数、任务运行机器、可视化变量等关键信息一目了然；
-
调度时间配置:可视化配置；
-
多集群连接:支持一套调度系统连接多套Hadoop集群。
3、多版本引擎
4、拓展性
二、Taier重要概念
下面从原理和操作层面给大家进一步介绍Taier，还有一些具体概念的解释。
![]()
（一）任务与实例
方便起见，数栈在Taier中提出“任务”和“实例”两个概念，例如数据开发的数据同步这项工作称之为“任务”，而已经提交并且配置了周期属性的任就称之为“实例”。
![]()
（二）实例具体操作
在Taier中，实例有这几种构建的方式：
1．基于Zookeeper选举Master节点参与Job 实例构建，T+1构建JobGraph
2. JobGraph构建前check &clean DirtyData
3.依据Task、TaskTask的数据（JobGraph)生成Job .JobJob实例数据
4.Master节点控制实例数据的负载均衡持久化入数据库
![]()
构建完毕后，实例处理的几种方式如下图所示：
![]()
其中：
1．三种任务类型:周期任务、补数据任务、重跑任务，统一调度方式
2. Job 优先入队列（1)，队列容量不足入DB (2)
3.当队列容量空余时，异步线程从DB加载数据入队列（3）
4. Job出队列后进行任务提交
处理完成后，实例提交我们也做了思考，具体设计：
1．内存优先级队列，控制Job有序执行
2．多线程并发提交（可配置)
3. Job 执行超时判断（可配置)
4. Job资源不足/失败重试进入延迟队列(可配置)﹔避免长时间占用提交权
![]()
Taier 的实例状态大家主要应该关注标志停止的几个，具体有下面几种：
1. WaitEngine:内存队列中的Job、内存容量不足存储在DB中的Job(默认500 )
2. Lacking:资源不足暂时等待的Job（默认2min)
3. Restarting:失败重试的Job（默认2min )
4. Finshed、Failed、Canceled、Killed:结束状态
![]()
Taier的整个控制台设计分为公共组件、调度组件、存储组件和计划组件。通过一个租户ID，拿到这个集群下common, YARN-conf等的四个配置信息，组成包含一个任务插件所有信息的pluginlnfo。将它解析之后，一些资源初始化上传，以便我们缓存对应的客户端。
![]()
Taier Client Plugin这里，要快速开发一个插件要注意以下几点：
![]()
