开源项目丨一文详解一站式大数据平台运维管家ChengYing如何部署Hadoop集群

2022-08-11 396

课件获取：关注公众号“数栈研习社”，后台私信 “ChengYing” 获得直播课件

视频回放：点击这里

ChengYing开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个__ STAR！STAR！！STAR！！！（重要的事情说三遍）__

技术交流钉钉 qun：30537511

本期我们带大家回顾一下海洋同学的直播分享《ChengYing部署Hadoop集群实战》

一、Hadoop集群部署准备

在部署集群前，我们需要做一些部署准备，首先我们需要按照下载Hadoop产品包：

● Mysql

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Mysql_5.7.38_centos7_x86_64.tar

● Zookeeper

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Zookeeper_3.7.0_centos7_x86_64.tar

● Hadoop

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Hadoop_2.8.5_centos7_x86_64.tar

● Hive

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Hive_2.3.8_centos7_x86_64.tar

● Spark

https://dtstack-opensource.oss-cn-hangzhou.aliyuncs.com/chengying/Spark_2.1.3-6_centos7_x86_64.tar

接着我们可以将下载好的产品包直接通过ChengYing界面上传，具体路径是：部署中心—组件管理—组件列表—上传组件安装包：

可以通过两种模式上传产品包：

本地上传方式

产品包在先下载到本机电脑存储中，点击本地上传，选在产品包上传。

网络上传模式

直接填写产品包网络地址上传（ChengYing的网络需要和产品包网络互通）。

Hadoop集群部署流程

做完准备后，我们可以开始进入集群部署，Hadoop集群部署流程包括以下步骤：

集群部署顺序说明

首先需要部署Mysql和zookeeper，因为Hadoop需要依赖zookeeper，Hive元数据存储使用的是Mysql；
其次需要部署Hadoop，Hive
最后部署Spark，因Spark依赖hivemetastore

PS：部署顺序是不可逆的

Hadoop集群部署角色分布

产品包标准部署流程

选择需要部署的产品包，点击部署按钮，然后选择对应需要部署的集群，默认集群为dtstack，集群名称可配置；
下一步选择需要部署的服务，默认产品包下的服务都会部署，可以根据实际需求部署，在此阶段可以对服务的配置文件进行修改，例如：修改Mysql连接超时时间等；
最后点击部署，等待部署完成。

Mysql服务部署流程演示

接下来我们以Mysql服务部署流程来为大家实际演示下整体流程：

● 第一步：选择集群

● 第二步：选择产品包

● 第三步：选择部署节点

● 第四步：部署进度查看

● 第五步：部署后状态查看

Hadoop集群使用与运维

集群部署完毕后，若有需求可以进行配置变更操作。

● 配置修改

例如：如果需要操作修改yarn的配置文件，可以先选择yarn-site.xml文件，可以在搜索框搜索需要修改的配置文件key，如cpu_vcores。

● 配置保存

● 配置下发

Taier对接Hadoop操作流程

ChengYing除了可自动部署运维外，还可以对接Taier部署Hadoop集群，Taier 是一个大数据分布式可视化的DAG任务调度系统，旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。

利用ChengYing部署管理Taier服务，可以做到实时监控Taier的服务状态，随时界面修改Taier配置等。Taier对接Hadoop集群的操作流程如下：

首先需要在Taier控制台选择多集群配置，新增一个集群；
然后配置sftp、资源调度组件、存储组件和计算组件；
配置完成后需要保存并且测试连通性。

注意事项：

在对接过程中，sftp主机需要和Taier网络相通，并且sftp配置主机的路径需要存在，如果不存在，需要手动创建。

Taier的部署网络需要与Hadoop网络相通，如果运行任务，需要在Taier所在节点加入Hadoop集群的Host配置;编译/etc/hosts文件，增加IP Hostname。

● 第一步：配置公共组件

首先进入Taier登陆界面，点击控制台，新增集群，然后进入多集群管理界面，配置公共组件，选择SFTP，进入SFTP配置界面。

● 第二步：配置SFTP

然后配置SFTP的host，认证方式，默认采用用户名密码方式，输入用户名和密码，并且输入path路径，此路径需要在主机上存在，如果不存在，需要手动创建一个SFTP路径.

● 第三步：资源调度组件配置

需要到部署Hadoop服务器到/opt/dtstack/Hive/hive_pkg/conf目录下获取hive-site.xml文件，下载到本地；

到/opt/dtstack/Hadoop/Hadoop_pkg/etc/Hadoop目录下获取hdfs-site.xml、core-site.xml、yarn-site.xml文件，下载到本地；

这四个文件压缩成一个zip包，上传这个压缩包。

● 第四步：计算组件配置

选择计算组件模块，选择需要对接的计算引擎Hive和Spark，选择Hive和Spark的版本，填写对应的jdbc（jdbc:hive://ip:port/）连接串，然后点击保存，测试连通性。

注意：jdbcurl中ip分别为Hive组件的hiveserver2和Spark中的thrifterserver所在节点ip。

● 第五步：配置Hive和Spark

以下是配置完成Hive和Spark组件后，测试连通性的状态。

注意：本地演示环境Hadoop未开启安全，Hive和Spark只需要配置jdbcurl即可。

Hadoop集群近期规划

最后和大家聊聊Hadoop集群近期规划，近期主要有三大规划：

● 产品包制作

制作ChengYing部署产品包的流程及实践。

● ChunJun&Taier产品包

制作可以用ChengYing部署的Taier和chunjun的产品包

● Hadoop运维

通过ChengYing运维大数据集群；

通过ChengYing一键开启Hadoop集群安全。

袋鼠云开源框架钉钉技术交流群（30537511），欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息，开源项目库地址：https://github.com/DTStack

微信关注我们

原文链接：https://my.oschina.net/u/3869098/blog/5564365

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Java多线程超级详解(只看这篇就够了)

多线程能够提升程序性能，也属于高薪必能核心技术栈，本篇会全面详解Java多线程。@mikechen 主要包含如下几点：基本概念很多人都对其中的一些概念不够明确，如同步、并发等等，让我们先建立一个数据字典，以免产生误会。进程在操作系统中运行的程序就是进程，比如你的QQ、播放器、游戏、IDE等等线程一个进程可以有多个线程，如视频中同时听声音，看图像，看弹幕，等等。多线程多线程：多个线程并发执行。同步 Java中的同步指的是通过人为的控制和调度，保证共享资源的多线程访问成为线程安全，来保证结果的准确。比如：synchronized关键字,在保证结果准确的同时，提高性能，线程安全的优先级高于性能。并行多个cpu实例或者多台机器同时执行一段处理逻辑，是真正的同时。并发通过cpu调度算法，让用户看上去同时执行，实际上从cpu操作层面不是真正的同时。并发往往在场景中有公用的资源，那么针对这个公用的资源往往产生瓶颈，我们会用TPS或者QPS来反应这个系统的处理能力。线程的生命周期在线程的生命周期中，它要经过新建(New)、就绪（Runnable）、运行（Runnin...

2022-08-11

394

本文的技术，从双亲委派模型到自定义类加载器，再到基于自定义类加载器实现的类交换，基于Java SPI实现的类交换，最后到基于Java SPI+ Java Agent + Javassist实现的插件框架及框架支持远程插件化，来一步一步的向读者展示所涉及的知识点。很久之前，为了诊断线上的问题，就想要是能有工具可以在线上出问题的时候，放个诊断包进去马上生效，就能看到线上问题的所在，那该是多么舒服的事情。后来慢慢的切换到java领域后，这种理想也变成了现实，小如IDEA中更改页面就能马上生效，大如利用Althas工具进行线上数据诊断，可谓是信手拈来，极大的方便了开发和诊断。后来深入研究之后，就慢慢的不满足框架本身带来的便利了，造轮子的想法慢慢在脑中挥之不去，这也是本文产生的原因了。接下来，你无需准备任何前置知识，因为我已经为你准备好了ClassLoader甜点，Javassist配菜，JavaAgent高汤，手写插件加载器框架主食，外加SPI知识做调料，且让我们整理餐具，开始这一道颇有点特色的吃播旅程吧。双亲委派模型开始前，让我们先聊聊双亲委派这个话题，因为无论是做热部署，还是做字节...

2022-08-11

333

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。