weekend110（Hadoop）的第五天笔记-低调大师

weekend110（Hadoop）的第五天笔记

2017-11-06 598

课程目录

01-zookeeper1

02-zookeeper2

03-NN高可用方案的要点1

04-hadoop-HA机制的配置文件

05-hadoop分布式集群HA模式部署

06-hdfs--HA测试

07-hdfs--动态增加节点和副本数量管理

08-HA的java api访问要点

09-hive入门

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5902480.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370889

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop安装备忘

参考刘鹏的《实战Hadoop》一书，按照hadoop 0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。 NameNode，Secondary NameNode，JobTracker,TaskTracker,DataNode这几个角色。 NameNode：负责如何切分数据块，和切完放哪个节点。它对内存和I/O集中管理。这个进程部署在Master节点上，是一个单点，它挂了整个系统都挂了。 Secondary NameNode：和NameNode一样，辅助程序。每个集群都有一个，它与NameNode进行通讯，定期保存HDFS元数据快照，当NameNode故障可以作为备用NameNode使用。它也是部署在Master节点上。 JobTracker负责调度作业，它决定哪些文件由哪些节点运行，并且监听TaskTracker发送来的心跳。当收不到心跳，即认为某个task失败，就会决定重启task。每个集群只有一个JobTracker。它是部署在Master节点上的。上述三个进程都是部署在Master节点上的，而TaskTracker和DataNode进程进程是集群中各个...

2017-11-06

558

前言　其实啊，无论你是初学者还是具备了有一定spark编程经验，都需要对spark源码足够重视起来。本人，肺腑之己见，想要成为大数据的大牛和顶尖专家，多结合源码和操练编程。　准备工作　1、scala 2.10.4(本地的安装) Scala的安装（本地） 2、Jdk1.7+ 或 jdk1.8+ (本地的安装) Jdk 1.7*安装并配置 Jdk 1.8*安装并配置 JDK的windows和Linux版本之下载 3、IntelliJ IDEA IntelliJ IDEA（Community版本）的下载、安装和WordCount的初步使用（本地模式和集群模式） IntelliJ IDEA（Ultimate版本）的下载、安装和WordCount的初步使用（本地模式和集群模式） Spark源码的编译过程详细解读(各版本) 另外，最后还是建议大家开始先使用 pre-built 的 Spark，对 Spark 的运行、使用方法有所了解，编写了一些 Spark 应用程序后再展开源代码的阅读，并尝试修改源码，进行手动编译。 ...

2017-11-06

711

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。