EMR学习笔记(1)HDFS
EMR HDFS Architecture
本文以非HA集群,2个worker的集群为例。
非HA集群,仅有一个Namenode实例,部署在Master节点。
Namenode主要职责:
-管理文件系统namespace,包括但不仅限于:开、关文件,文件改名,目录操作等。
-管控客户端对文件的访问
EMR hadoop集群,每个Worker节点仅部署一个Datanode实例。
Datanode主要职责:
-管理所在节点挂载的存储
-提供给客户端读写服务
-block创建、删除以及replication
登录EMR集群实现基本运维
在较新的集群版本中(3.2 以上版本),所有的服务操作都可以通过集群的配置管理功能来完成。推荐优先使用 Web 页面的管理方式。
若您觉得在网页上的作业和执行计划无法满足您更加复杂的应用需求,您可以登录到 E-MapReduce 集群的主机上。找到集群的详情页,其中就有集群 master 机器的公网 IP 地址,您可以直接 SSH 登录到这台机器上,查看各种设置与状态。
登录 Master 主机步骤
- 使用如下命令 SSH 登录到 master 主机。请在集群详情页的主机信息栏中获取集群 master 机器的公网 IP。
ssh root@ip.of.master
- 输入创建集群时设定的密码。
如何登录 Core 节点
A:按照如下步骤:
- 首先在 Master 节点上切换到 Hadoop 账号:
su hadoop
- 然后即可免密码 SSH 登录到对应的 Core 节点:
ssh emr-worker-1
- 通过 sudo 可以获得 root 权限:
sudo vi /etc/hosts
通过命令行方式启停服务进程
操作用账号:hdfs
- NameNode (Master 节点)
// 启动 /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode // 停止 /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode
- DataNode (Core 节点)
// 启动 /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start datanode // 停止 /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop datanode
示例:登录实际emr集群演示停止datanode进程操作
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
一起探讨下零基础如何快速入门大数据技巧
现在是大数据时代,很多人都想要学习大数据,因为不管是就业前景还是薪资都非常的不错,不少人纷纷从其他行业转型到大数据行业,那么零基础的人也想要学习大数据怎么办呢?下面一起探讨下零基础如何快速入门大数据技巧吧。 很多人都需要学习大数据是需要有一定的基础的,编程语言就是必备的条件之一,编程语言目前热门的有:Java、Python、PHP、C/C++等等,无论是学习哪一门编程语言,总之要精细掌握一门语言是非常必须的,我们先拿应用广泛的Java说起哦。 在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。 Java的方向有三个:JavaSE、JavaEE、JavaME,学习大数据的话只需要学习JavaSE就可以了,在学习Java的时候,我们一般需要学习这些: HTML,CSS,JS,java的基础,JDBC与数据库,JSP java web技术, jQuery与...
- 下一篇
BDS-HBase集群之间数据迁移同步的利器
BDS定位 BDS针对开源HBase目前存在的同步迁移痛点,自主研发的一套数据迁移的平台,用于HBase集群的无缝迁移、主备容灾、异地多活、在线离线业务分离、HBase数据归档、对接RDS实时增量数据等等。目的在于帮助阿里云上客户解决自建HBase、EMR HBase、Apsara HBase的数据导入导出,从而方便云上客户围绕HBase构建高可用、灵活的业务系统 使用场景 BDS在云上目前主要有以下几个使用场景 新旧集群无缝迁移 在线离线业务分离 主备容灾 RDS实时数据同步到HBase、Phoenix 新旧集群无缝迁移 使用范围 HBase大版本升级, 1.x 升级 2.x 集群配置升级 集群网络的切换,经典切换VPC 异地跨机房迁移 业务拆分 业务流程 在线离线业务分离 业务架构 通过BDS,将在线业务数据实时同步到离线集群,结合Spark、MR等大数据组件进
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS8安装Docker,最新的服务器搭配容器使用
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装