Hadoop管理员认证大纲-低调大师

Hadoop管理员认证大纲

2016-02-19 664

模块内容	提纲	状态
关于 Apache Hadoop	u 为什么是 Hadoop?
	u Hadoop 的核心部件
	u 基础概念
HDFS	u HDFS 特性
	u 读，写文件
	u NameNode 内存的考虑
	u HDFS 安全性简介
	u 使用 Namenode Web 用户界面
	u 使用 Hadoop 文件 Shell
数据导入 HDFS	u 用 Flume 将数据从外部源导入
	u 用 Sqoop 将数据从关系数据库导入
	u REST 接口
	u 输入数据的最佳实践
YARN 和 MapReduce	u 什么是 MapReduce?
	u MapReduce 基本概念
	u YARN 集群的架构
	u 资源分配
	u 故障恢复
	u 使用 YARN Web 用户界面
	u MapReduce 版本 1
为你的 Hadoop 集群做计划	u 通用计划的考虑
	u 选择正确的硬件
	u 对网络的考虑
	u 配置节点
	u 为集群管理做计划
Hadoop 安装和初始配置	u 部署的类型
	u 安装 Hadoop
	u 具体化 Hadoop 的配置
	u 执行 HDFS 的初始配置
	u 执行 YARN 和 MapReduce 的初始配置
	u Hadoop 日志系统
安装配置 Hive, Impala 和 Pig	u Hive
	u Impala
	u Pig
Hadoop 客户端	u 什么是 Hadoop 客户端?
	u 安装配置 Hadoop 客户端
	u 安装配置 Hue
	u Hue 授权和认证集群的
Cloudera 管理器	u Cloudera 管理器的动机
	u Cloudera 管理器的特性
	u 快速版和企业版
	u Cloudera 管理器拓扑
	u 安装 Cloudera 管理器
	u 用 Cloudera 管理器安装 Hadoop
	u 用 Cloudera 管理器执行基本的管理任务
集群的高级配置	u 高级配置参数
	u 配置Hadoop 端口
	u 显性地添加或移除主机
	u 配置HDFS 的机架认知
	u 配置HDFS 高可用性
Hadoop 的安全方案	u Hadoop 的安全性的重要
	u Hadoop 的安全系统的概念
	u Kerberos 是什么，它如何工作
	u 用 Kerberos 来守卫 Hadoop 集群
管理，计划工作任务	u 管理正在运行的工作
	u 计划 Hadoop 工作
	u 配置 FairScheduler
	u Impala 的查询计划
集群的维护	u 检查 HDFS 状态
	u 在不同集群间拷贝数据
	u 添加和挪去集群的节点
	u 重新平衡集群
	u 集群升级
集群的监控和故障诊断	u 通用系统监控
	u 监控 Hadoop 集群
	u 常见的 Hadoop Clusters 的故障排除
	u 常见的错误配置

Hadoop管理员认证大纲.xlsx

微信关注我们

原文链接：https://yq.aliyun.com/articles/578906

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker介绍

问题导读： 1.job的本质是什么？ 2.任务的本质是什么？ 3.文件系统的Namespace由谁来管理，Namespace的作用是什么？ 4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？ 5.Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，为什么？ 6.客户端读写某个数据时，是否通过NameNode？ 7.namenode，datanode，Namespace image，Edit log之间的关系是什么？ 8.一旦某个task失败了，JobTracker如何处理？ 9.JobClient JobClient在获取了JobTracker为Job分配的id之后，会在JobTracker的系统目录(HDFS)下为该Job创建一个单独的目录，目录的名字即是Job的id，该目录下会包含文件job.xml、job.jar等文件，这两个文件的作用是什么？ 10.JobTracker根据什么就能得到这个Job目录？ 11.JobTracker提交作业之前，为什么要检查内存？ 12....

2016-02-20

552

请带着如下问题阅读本文。 1、什么是行锁？ 2、HBase行锁的原理是什么？ 3、HBase行锁是如何实现的？ 4、HBase行锁是如何应用的？一、什么是行锁？我们知道，数据库中存在事务的概念。事务是作为单个逻辑工作单元执行的一系列操作，要么完全地执行，要么完全的不执行。而事务的四大特点即原子性、一致性、分离性和持久性。其中，原子性首当其冲，那么在HBase内部实现其原子性的重要保证是什么呢？答案就是行锁。什么是行锁呢？顾名思义，它就是加在行上的一把锁。在它未释放该行前，最起码其他访问者是无法对该行做修改的，即要修改的话，必须得获得该行的锁才能拥有修改改行数据的权限，这就是行锁的含义。二、HBase行锁实现原理 HBase行锁是利用Java并发包concurrent里的CountDownLatch(1)来实现的。它的主要思想就是在服务器端每个访问者单独一个数据处理线程，每个处理线程针对特定行数据修改时必须获得该行的行锁，而其他客户端线程想要修改数据的话，必须等待前面的线程释放锁后才被允许，这就利用了Java并发包中...

2016-02-20

573

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。