分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

2023-08-17 290

Taier 作为袋鼠云的开源项目之一，是一个分布式可视化的 DAG 任务调度系统。旨在降低 ETL 开发成本，提高大数据平台稳定性，让大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。

本文将从 Taier 的流程简述、结构分析以及可扩展点三个方面对 Taier 的整体流程进行分析探讨。

Taier 流程简述

Taier 主从划分

Taier 是一个单独的应用，进程无主从划分，多实例运行时通过 ZK 实现主从划分。基于 LeaderLatch 进行实现，启动时抢到锁的节点即为主（Master），没有抢到锁的即为从（ Worker），会出现一主多从的情况。

如果其他的 Worker 在 ZK 中监听到 Master 已经挂掉，那么 Worker 会再次进行锁的争夺，抢到锁的成为主。

在 Taier 中，作为主的主要职责包括周期实例生成、实例预分发、Worker 节点任务容灾、实例提交等，作为从则主要负责实例提交即可。

Taier 周期实例（T+1）

周期实例是 Taier 的专属名词，指的是任务按照配置的调度时间运行一次即为一个实例，现在周期实例的机制为 T+1 的方式。

今日会预生成明天所有任务对应的周期实例，即今日的周期实例由昨天生成。Taier 默认22:00生成第二天周期实例，如果在22:00之后再将任务提交到调度系统，这个任务则不会进行周期实例生成的动作。

配置项为 job.graph.build.cron=22:00:00，时间可以自己调整。

Taier 任务提交

Taier 任务提交的具体流程图如下：

任务流程提交前置判断主要分为两个部分，一为任务上下游的依赖校验，会判断周期实例的上游是否已经运行完成，如果上游运行失败，那么这个任务就是不准备提交的；二为资源校验，因为任务都是运行在集群上，非常占资源，所以会进行提交前的校验，判断当前集群的资源是否充足，如果资源不足，会进行延迟提交的动作。

Taier 任务提交的具体代码如下：

Taier 结构分析

Taier 的结构主要分为 UI、应用层和插件三个部分，在插件中，Taier worker-plugin 和 Taier datasource-plugin 又是其中最为重要的两个插件。

Taier worker-plugin

Taier worker-plugin 的主要用途包括：

· 任务资源判断

· 任务提交

· 任务状态获取

· 任务日志获取

· Kill 任务

具体代码如下：

Taier datasource-plugin

Taier datasource-plugin 的主要用途包括：

· 连通性检查

· 执行 SQL

· 获取 Schema 信息

· 获取 Table 列表

· 获取表元数据

· 下载数据

· 下载日志

具体代码如下：

Taier 任务提交插件

参考代码：

com.dtstack.taier.scheduler.jobdealer.JobSubmitDealer#submitJob

Taier 可扩展点

Taier 目前就核心功能进行了开源，其他功能开发者可以自行进行扩展，包括：

· 任务立即生成实例

· ChunJun 向导模式扩展

· DataX 支持向导模式配置

· 数据源插件版本扩展

· 计算引擎新增

· Hadoop 多集群版本支持

· 实例分发策略增加

视频课程&PPT获取

视频课程：

https://www.bilibili.com/video/BV1wP411z7rf/?spm_id_from=333.999.0.0

课件获取：

https://www.dtstack.com/resources/1047

《数栈产品白皮书》：https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址：https://www.dtstack.com/resources/1001?src=szsm 想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=szkyzg

同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」，交流最新开源技术信息，qun号码：30537511，项目地址：https://github.com/DTStack

微信关注我们

原文链接：https://my.oschina.net/u/3869098/blog/10097261

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数仓备份经验分享丨详解roach备份原理及问题处理套路

本文分享自华为云社区《GaussDB（DWS）备份问题定位思路》，作者： yd_216390446。前言在数据库系统中，故障分为事务内部故障、系统故障、介质（磁盘）故障。对于事务内部故障和系统故障，使用日志自动恢复，不需要人工参与。但对于介质故障，需事先备份数据。那么对于DWS来说是如何进行备份的呢？以及备份的过程中容易出现哪些问题，又怎样去排查、解决呢？本文主要讲述了DWS备份工具roach的备份的原理，以及常见的问题处理套路和相关案例。一、备份原理全量备份本文主要说的备份均为物理备份，即通过物理文件拷贝的方式对数据库进行备份，通过备份的数据文件和日志等文件，数据库可以进行完全恢复。全量备份大致分几个阶段：备份行存、创建barrier点、备份xlog、备份列存。备份行存：每个节点的主DN的数据，压缩存到rch文件中创建barrier点：保证CNDN上的所有的事务处于一致的状态，恢复到这个点比较可靠，创建时会在XLog中写入一条记录。备份xlog：备份startLSN和stopLSN之间的xlog 备份列存：由于列存不写xlog，因此放在最后，其中列存的cude...

2023-08-16

390

问题是怎么发现的最近有个java应用在做压力测试压测环境配置： CentOS系统 4核CPU 8g内存 jdk1.6.0_25，jvm配置-server -Xms2048m -Xmx2048m 出现问题如下执行300并发，压测持续1个小时后内存使用率从20%上升到100%,tps从1100多降低到600多。排查问题的详细过程首先使用top命令查看内存占用如下然后查看java堆内存分布情况，查看堆内存占用正常，jvm垃圾回收也没有异常。然后想到了是堆外内存泄漏，由于系统中用的jsf接口比较多，底层都是依赖的netty。首先考虑的是java中nio包下的DirectByteBuffer,可以直接分配堆外内存，不过该类分配的内存也有大小限制的，可以直接通过-XX:MaxDirectMemorySize=1g 进行指定，并且内存不够用的时候代码中会显式的调用System.gc()方法来触发FullGC,如果内存还是不够用就会抛出内存溢出的异常。为了验证这一想法，于是在启动参数中通过-XX:MaxDirectMemorySize=1g指定了堆外内存大小为1g，然后再次进行压测，...

2023-08-17

295

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。