干货|三个维度详解 Taier 本地调试原理和实践
在平时和开发者们交流的过程中,发现许多开发朋友尤其是新入门 Taier 的开发者,对于本地调试都有着诸多的不理解和问题。本文就大家平时问的最多的三个问题,服务编译,配置&本地运行,如何在 Taier 运行 Flink-standalone,进行简单的介绍,希望和大家共同交流学习。
服务编译
在本章将介绍服务编译中的两大插件 WorkerPlugins 及 DataSourcePlugin,以及 Taier 的前后端 UI & datadevelop 的作用。
WorkerPlugins 的作用
平台通过在 Taier-UI 运行任务之后,在 Taier-data-develop 中通过集群绑定到租户,再通过当前租户绑定集群中的组件类型以及版本号获取到不同的 WorkerPlugin,通过不同组件类型以及版本号进行提交任务。下图为整体的运行架构图:
WorkerPlugins 的编译
运行任务时这是一个必要的选项,当我们需要本地调试或者部署运行时,WorkerPlugins 的编译是必须进行的,在编译之后会获取到一个 WorkerPlugins 的目录,具体的编译过程请看文末视频链接中的演示讲解。
DataSourcePlugin 的作用
介绍完 WorkerPlugins 这个插件之后,来介绍一下另一个插件 DataSourcePlugin。
在 Taier-UI 中我们可以配置诸多不同类型的数据源,如 MySQL,Doris,Oracle 等,这些功能都是依赖着强大的 DataSourcePlugin 来进行实现。同时在使用离线同步中的 GUI 任务配置相关功能时,获取数据库信息也都是依赖 DataSourcePlugin 来完成的。
DataSourcePlugin 的编译
运行任务时这是一个必要的选项,当我们需要本地调试或者部署运行时,DataSourcePlugin 的编译是必须进行的,在编译之后会获取到一个 DataSourcePlugin 的目录,具体的编译过程请看文末视频链接中的演示讲解。
Taier-UI 的作用
在 Taier-UI 中我们可以进行配置不同类型的数据源、创建任务、任务运维、提交调度、集群配置、集群绑定等各种操作。
TaierDataDevelop 的作用
在 Taier- UI 中进行操作的所有后端服务 API 的支持都是来自于 TaierDataDevelop 的支持,该服务主要是与前后端交互。
配置&本地运行
该节内容主要介绍 TaierDataDevelop 的配置,在此进行后端服务的端口 ZK、WorkerPlugins、DataSourcePlugin 数据库等相关配置,前后端的启动,以及集群配置(Flink-standalone)和绑定。
具体的代码流程请看文末视频链接中的演示讲解。
运行 Flink-Standalone 实践
配置集群
在任务运行时,通过配置的 CDH 集群,使用配置 YARN 组装任务,通过 ChunJun 或直接提交任务至 Flink、Doris、Spark 等计算引擎中。
配置&运行任务
通过任务 GUI 组装任务配置,包括数据来源和去向,通过字段映射、任务自定义参数等相关配置从而进行任务配置。
视频课程&PPT获取
视频课程:
https://www.bilibili.com/video/BV19M411L7f2/?spm_id_from=333.999.0.0
课件获取:
https://www.dtstack.com/resources/1031
《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm
《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm 想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szkyzg
同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
AI 和 DevOps:实现高效软件交付的完美组合
AI 时代,DevOps 与 AI 共价结合。AI 由业务需求驱动,提高软件质量,而 DevOps 则从整体提升系统功能。DevOps 团队可以使用 AI 来进行测试、开发、监控、增强和系统发布。AI 能够有效地增强 DevOps 驱动流程,从开发人员的业务实用性和支持的角度来看,评估 AI 在 DevOps 中的重要性是十分必要的。 在本篇文章中,我们将一同探讨 DevOps 如何利用 AI 实现业务上的增强与提升。 DevOps 中存在的摩擦 在 DevOps 实践中,摩擦可能源于软件开发和运营生命周期中的各种挑战和瓶颈。这里我们将总结6个 DevOps 中常见的摩擦。 DevOps 中的一个主要摩擦就是开发和运营团队之间存在孤岛。孤岛团队通常有不同的目标、优先级和流程,导致沟通障碍、协作延迟以及实现共同目标的困难。这种摩擦会阻碍开发和运营的无缝集成,影响软件交付的速度和质量。 此外,DevOps 中的手动流程,例如手动代码部署、环境设置和配置管理,同样会导致效率低下。手动任务耗时、容易出错,并且可能导致跨环境的不一致。这些过程会减慢开发周期,增加人为错误的可能性,并在企业...
- 下一篇
高并发场景下,6种解决SimpleDateFormat类的线程安全问题方法
摘要:解决SimpleDateFormat类在高并发场景下的线程安全问题可以有多种方式,这里,就列举几个常用的方式供参考。 本文分享自华为云社区《【高并发】更正SimpleDateFormat类线程不安全问题分析的错误》,作者: 冰 河 。 解决SimpleDateFormat类在高并发场景下的线程安全问题可以有多种方式,这里,就列举几个常用的方式供参考,大家也可以在评论区给出更多的解决方案。 1.局部变量法 最简单的一种方式就是将SimpleDateFormat类对象定义成局部变量,如下所示的代码,将SimpleDateFormat类对象定义在parse(String)方法的上面,即可解决问题。 package io.binghe.concurrent.lab06; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.concurrent.CountDownLatch; import java.util.concurrent.ExecutorService; ...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Mario游戏-低调大师作品
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7安装Docker,走上虚拟化容器引擎之路