Hadoop管理员认证大纲-低调大师

Hadoop管理员认证大纲

2016-02-19 646 89

模块内容	提纲	状态
关于 Apache Hadoop	u 为什么是 Hadoop?
	u Hadoop 的核心部件
	u 基础概念
HDFS	u HDFS 特性
	u 读，写文件
	u NameNode 内存的考虑
	u HDFS 安全性简介
	u 使用 Namenode Web 用户界面
	u 使用 Hadoop 文件 Shell
数据导入 HDFS	u 用 Flume 将数据从外部源导入
	u 用 Sqoop 将数据从关系数据库导入
	u REST 接口
	u 输入数据的最佳实践
YARN 和 MapReduce	u 什么是 MapReduce?
	u MapReduce 基本概念
	u YARN 集群的架构
	u 资源分配
	u 故障恢复
	u 使用 YARN Web 用户界面
	u MapReduce 版本 1
为你的 Hadoop 集群做计划	u 通用计划的考虑
	u 选择正确的硬件
	u 对网络的考虑
	u 配置节点
	u 为集群管理做计划
Hadoop 安装和初始配置	u 部署的类型
	u 安装 Hadoop
	u 具体化 Hadoop 的配置
	u 执行 HDFS 的初始配置
	u 执行 YARN 和 MapReduce 的初始配置
	u Hadoop 日志系统
安装配置 Hive, Impala 和 Pig	u Hive
	u Impala
	u Pig
Hadoop 客户端	u 什么是 Hadoop 客户端?
	u 安装配置 Hadoop 客户端
	u 安装配置 Hue
	u Hue 授权和认证集群的
Cloudera 管理器	u Cloudera 管理器的动机
	u Cloudera 管理器的特性
	u 快速版和企业版
	u Cloudera 管理器拓扑
	u 安装 Cloudera 管理器
	u 用 Cloudera 管理器安装 Hadoop
	u 用 Cloudera 管理器执行基本的管理任务
集群的高级配置	u 高级配置参数
	u 配置Hadoop 端口
	u 显性地添加或移除主机
	u 配置HDFS 的机架认知
	u 配置HDFS 高可用性
Hadoop 的安全方案	u Hadoop 的安全性的重要
	u Hadoop 的安全系统的概念
	u Kerberos 是什么，它如何工作
	u 用 Kerberos 来守卫 Hadoop 集群
管理，计划工作任务	u 管理正在运行的工作
	u 计划 Hadoop 工作
	u 配置 FairScheduler
	u Impala 的查询计划
集群的维护	u 检查 HDFS 状态
	u 在不同集群间拷贝数据
	u 添加和挪去集群的节点
	u 重新平衡集群
	u 集群升级
集群的监控和故障诊断	u 通用系统监控
	u 监控 Hadoop 集群
	u 常见的 Hadoop Clusters 的故障排除
	u 常见的错误配置

Hadoop管理员认证大纲.xlsx

微信关注我们

原文链接：https://yq.aliyun.com/articles/578906

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker介绍

问题导读： 1.job的本质是什么？ 2.任务的本质是什么？ 3.文件系统的Namespace由谁来管理，Namespace的作用是什么？ 4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？ 5.Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，为什么？ 6.客户端读写某个数据时，是否通过NameNode？ 7.namenode，datanode，Namespace image，Edit log之间的关系是什么？ 8.一旦某个task失败了，JobTracker如何处理？ 9.JobClient JobClient在获取了JobTracker为Job分配的id之后，会在JobTracker的系统目录(HDFS)下为该Job创建一个单独的目录，目录的名字即是Job的id，该目录下会包含文件job.xml、job.jar等文件，这两个文件的作用是什么？ 10.JobTracker根据什么就能得到这个Job目录？ 11.JobTracker提交作业之前，为什么要检查内存？ 12....

530

HBase行锁原理及实现

请带着如下问题阅读本文。 1、什么是行锁？ 2、HBase行锁的原理是什么？ 3、HBase行锁是如何实现的？ 4、HBase行锁是如何应用的？一、什么是行锁？我们知道，数据库中存在事务的概念。事务是作为单个逻辑工作单元执行的一系列操作，要么完全地执行，要么完全的不执行。而事务的四大特点即原子性、一致性、分离性和持久性。其中，原子性首当其冲，那么在HBase内部实现其原子性的重要保证是什么呢？答案就是行锁。什么是行锁呢？顾名思义，它就是加在行上的一把锁。在它未释放该行前，最起码其他访问者是无法对该行做修改的，即要修改的话，必须得获得该行的锁才能拥有修改改行数据的权限，这就是行锁的含义。二、HBase行锁实现原理 HBase行锁是利用Java并发包concurrent里的CountDownLatch(1)来实现的。它的主要思想就是在服务器端每个访问者单独一个数据处理线程，每个处理线程针对特定行数据修改时必须获得该行的行锁，而其他客户端线程想要修改数据的话，必须等待前面的线程释放锁后才被允许，这就利用了Java并发包中...

548

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。