不会这些,你成不了Hadoop高手!
第一堂课:大数据集群搭建葵花宝典
由浅入深,四步成“狮”
1)快速搞定伪分布Hadoop集群搭建
2)高可用的5节点Hadoop分布式集群搭建(Hadoop 2.6.0)
3)生产环境:CDH5高可用集群环境搭建
4)彩蛋:顺便搞定Storm 和 Spark集群环境
课程大纲
(一)搭建Hadoop伪分布集群,让WordCount飞起来
1、Vmware虚拟机的介绍
2、Vmware虚拟机的安装
3、Vmware虚拟机的配置
4、搭建Linux 虚拟机
5、Linux虚拟机的系统配置
6、Hadoop伪分布环境搭建,让WordCount飞起来
(二)手把手教你搭建5节点Hadoop分布式集群(HA)
1、集群规划及安装前准备
2、JDK安装配置
3、Zookeeper安装
4、HDFS安装配置(HA)
5、YARN安装配置(HA)
(三)搭建CDH5分布式集群环境(HA)
1、主机和软件规划
2、目录规划
3、SSH免密码登录
4、JDK安装
5、Zookeeper安装
6、HDFS安装前检查
7、HDFS安装简介
8、HDFS核心配置文件配置(HA)
9、文件系统初始化
10、HDFS安装系统验证
11、HDFS UI简单介绍HDFS shell操作
12、Hadoop源码安装方式之下载源代码
13、Hadoop源码安装方式之编译环境准备
14、Hadoop源码安装方式之hadoop编译
15、Yarn HA的原理和主机规划
16、YARN(HA)核心配置文件的配置和分发
17、YARN(HA)的启停
18、WordCount实战演练
(四)搭建Storm 分布式集群环境
1、本地模式
2、分布式模式
(五)搭建Spark 分布式集群环境(HA)
1、Spark Standalone分布式环境部署
2、Spark Job提交与运行
3、Spark Standalone HA的实现
4、Spark Standalone运行架构解析
5、Spark Standalone下运行实例程序
第二堂课:轻松构建企业级MapReduce项目
也许这是对新手来说再详细不过的一堂课
课程大纲
(一)Eclipse 构建普通MapReduce项目
1、JDK安装
2、Hadoop 插件安装
3、Hadoop 环境变量配置
4、构建普通的MapReduce项目并测试运行实例程序
(二)Eclipse 构建MapReduce Maven 项目
1、Maven 安装及环境变量配置
2、构建Maven项目
3、调试MapReduce程序
4、Maven管理多个MapReduce程序
5、Maven项目的打包、测试、部署运行
第三堂课:MapReduce高手进阶之Join算法
对热爱开发的技术人员来说,MR编程是小kiss,我们就不帮你了。
可Join算法经常会用到,就连很多老手也不能掌控自如
好吧,我们就带你彻底搞明白这个,让自己技高一筹
课程大纲
(一)MapReduce编程之Join算法
1、MapReduce实现Reduce Join操作
2、MapReduce实现Map Join操作
3、MapReduce实现Semi Join操作
4、MapReduce实现Reduce join + BloomFilter操作
第四堂课:Zookeeper从入门到实战
ZooKeeper是针对大型分布式系统的可靠协调系统。 Zookeeper的Fast Fail 和 Leader选举特性大大增强了分布式集群的稳定和健壮性,并且解决了Master/Slave模式的单点故障问题,所以越来越多的计算框架依赖Zookeeper系统,比如HBase、Storm、Spark、Flink等。
Zookeeper在分布式集群中的地位越来越重要,如果你对它不熟悉,你必须必须必须补上它!
课程大纲
(一)深入学习ZooKeeper 架构原理
1、ZooKeeper 是什么?
2、ZooKeeper特点
3、ZooKeeper 基本原理
4、ZooKeeper 写数据流程
5、ZooKeeper 应用场景
(二)ZooKeeper 分布式环境部署
1、单节点模式
2、伪分布式模式
3、分布式模式
4、配置观察者(ObServer),扩展系统,提高读取速度
(三)ZooKeeper 配置管理Hadoop集群
1、ZooKeeper 客户端设计(API介绍,Java Client开发)
2、ZooKeeper配置管理的案例开发
第五堂课:Hadoop、Spark源码编译
这个不解释,懂的人自然知道重要性
课程大纲
(一)Hadoop源码编译
1、检查并安装Gcc-c++
2、安装Maven
3、安装ProtocolBuffer
4、安装Cmake
5、安装Zlib
6、安装Openssl
7、安装Snappy
8、编译Hadoop
9、Hadoop本地库检测
10、Hadoop 配置Snappy压缩
(二)Spark源码编译
1、Spark 版本选择
2、在线安装Git(root 用户下)
3、创建一个目录克隆Spark源代码
4、切换Spark分支
5、安装JDK
6、安装Maven
7、编译spark
本文作者:佚名
来源:51CTO

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
第一次创业必看:股权架构那些坑
合伙人之所以是合伙人,是因为合伙人永远把自身利益放第一位,其次才是你们之间的感情。 如 果让我再次出发,我不会傻不拉几的再去花一个星期或一个月说服某个合伙人加入。而是先谈股权架构,并以合同方式呈现出来。因为前几次经历,加上我身边耳濡 目染的一些合伙人,包括我的亲人,朋友,他们第一次合伙无不毁在股权架构上面。如果说为自己的无知付出了代价,而又收获了什么,那就是不再感性和冲动了。 第一次创业总是感性的,天真的认为创业就是赚钱分钱,其实第一次创业的人往往不到赚钱的时候就散伙了。散伙的原因有很多,比如性格不能互补,能力不能互补……这些都是显性的原因,只要你不差劲的离谱,合伙人不会跟你“分手”的。导致散伙的最主要原因是隐性的,即股权架构的不合理。 扫盲:股权没你想的那么简单 第一次创业的人因为经验不足,认识不到股权架构不合理的危害性,所以不主动去了解,也不会主动制定。这会导致问题接二连三的出现,让你措手不及,等你意识到了问题的出现,那时你们的团队离解散也就不远了。 首先,股权不仅是分红比例,而且是掌权比例,它涉及到人类最敏感的两个话题:财富与权利。这个权利越大的人就越能控制团队的方向,包括日常生...
- 下一篇
刘兵|NRedis-Proxy 高性能中间件服务
【编者按】:刘兵,花名玄靖,开源技术爱好者。高性能Redis中间件NRedis-Proxy作者,目前研究方向Java中间件,微服务等技术。 一.NRedis-Proxy介绍 NRedis-Proxy是一个Redis中间件服务,第一个Java版本开源Redis中间件,无须修改业务应用程序任何代码与配置,与业务解耦;以Spring为基础开发自定义标签,让它可配置化,使其更加容易上手;提供RedisServer监控以及自动、收到failover等功能;以netty作为通信传输工具,让它具有高性能,高并发,可分布式扩展部署等特点,单机器单个RedisServerQPS在9千左右。 二.NRedis-Proxy技术架构图 a.系统架构图 b.技术架构图 c.部署架构图 三.NRedis-Proxy优势以及缺点 a.功能优势 1)
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库