weekend110（Hadoop）的第五天笔记-低调大师

weekend110（Hadoop）的第五天笔记

2017-11-06 519

课程目录

01-zookeeper1

02-zookeeper2

03-NN高可用方案的要点1

04-hadoop-HA机制的配置文件

05-hadoop分布式集群HA模式部署

06-hdfs--HA测试

07-hdfs--动态增加节点和副本数量管理

08-HA的java api访问要点

09-hive入门

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5902480.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370889

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop安装备忘

参考刘鹏的《实战Hadoop》一书，按照hadoop 0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。 NameNode，Secondary NameNode，JobTracker,TaskTracker,DataNode这几个角色。 NameNode：负责如何切分数据块，和切完放哪个节点。它对内存和I/O集中管理。这个进程部署在Master节点上，是一个单点，它挂了整个系统都挂了。 Secondary NameNode：和NameNode一样，辅助程序。每个集群都有一个，它与NameNode进行通讯，定期保存HDFS元数据快照，当NameNode故障可以作为备用NameNode使用。它也是部署在Master节点上。 JobTracker负责调度作业，它决定哪些文件由哪些节点运行，并且监听TaskTracker发送来的心跳。当收不到心跳，即认为某个task失败，就会决定重启task。每个集群只有一个JobTracker。它是部署在Master节点上的。上述三个进程都是部署在Master节点上的，而TaskTracker和DataNode进程进程是集群中各个...

2017-11-07

487

前言　其实啊，无论你是初学者还是具备了有一定spark编程经验，都需要对spark源码足够重视起来。本人，肺腑之己见，想要成为大数据的大牛和顶尖专家，多结合源码和操练编程。　准备工作　1、scala 2.10.4(本地的安装) Scala的安装（本地） 2、Jdk1.7+ 或 jdk1.8+ (本地的安装) Jdk 1.7*安装并配置 Jdk 1.8*安装并配置 JDK的windows和Linux版本之下载 3、IntelliJ IDEA IntelliJ IDEA（Community版本）的下载、安装和WordCount的初步使用（本地模式和集群模式） IntelliJ IDEA（Ultimate版本）的下载、安装和WordCount的初步使用（本地模式和集群模式） Spark源码的编译过程详细解读(各版本) 另外，最后还是建议大家开始先使用 pre-built 的 Spark，对 Spark 的运行、使用方法有所了解，编写了一些 Spark 应用程序后再展开源代码的阅读，并尝试修改源码，进行手动编译。 ...

2017-11-07

643

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。