weekend110（Hadoop）的第五天笔记-低调大师

weekend110（Hadoop）的第五天笔记

2017-11-06 533

课程目录

01-zookeeper1

02-zookeeper2

03-NN高可用方案的要点1

04-hadoop-HA机制的配置文件

05-hadoop分布式集群HA模式部署

06-hdfs--HA测试

07-hdfs--动态增加节点和副本数量管理

08-HA的java api访问要点

09-hive入门

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5902480.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370889

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop安装备忘

参考刘鹏的《实战Hadoop》一书，按照hadoop 0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。 NameNode，Secondary NameNode，JobTracker,TaskTracker,DataNode这几个角色。 NameNode：负责如何切分数据块，和切完放哪个节点。它对内存和I/O集中管理。这个进程部署在Master节点上，是一个单点，它挂了整个系统都挂了。 Secondary NameNode：和NameNode一样，辅助程序。每个集群都有一个，它与NameNode进行通讯，定期保存HDFS元数据快照，当NameNode故障可以作为备用NameNode使用。它也是部署在Master节点上。 JobTracker负责调度作业，它决定哪些文件由哪些节点运行，并且监听TaskTracker发送来的心跳。当收不到心跳，即认为某个task失败，就会决定重启task。每个集群只有一个JobTracker。它是部署在Master节点上的。上述三个进程都是部署在Master节点上的，而TaskTracker和DataNode进程进程是集群中各个...

2017-11-07

502

前言　其实啊，无论你是初学者还是具备了有一定spark编程经验，都需要对spark源码足够重视起来。本人，肺腑之己见，想要成为大数据的大牛和顶尖专家，多结合源码和操练编程。　准备工作　1、scala 2.10.4(本地的安装) Scala的安装（本地） 2、Jdk1.7+ 或 jdk1.8+ (本地的安装) Jdk 1.7*安装并配置 Jdk 1.8*安装并配置 JDK的windows和Linux版本之下载 3、IntelliJ IDEA IntelliJ IDEA（Community版本）的下载、安装和WordCount的初步使用（本地模式和集群模式） IntelliJ IDEA（Ultimate版本）的下载、安装和WordCount的初步使用（本地模式和集群模式） Spark源码的编译过程详细解读(各版本) 另外，最后还是建议大家开始先使用 pre-built 的 Spark，对 Spark 的运行、使用方法有所了解，编写了一些 Spark 应用程序后再展开源代码的阅读，并尝试修改源码，进行手动编译。 ...

2017-11-07

665

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。