Hadoop各服务组件如何配置在指定服务器运行-低调大师

Hadoop各服务组件如何配置在指定服务器运行

2018-02-03 513

HDFS指定服务器运行

修改$hadoop/etc/hadoop/core-site.xml

指定namenode配置服务器

指定datanode配置服务器

修改slaves文件

image.png

secondarynamenode配置服务器

SecondaryNameNode：是由哪个文件中的哪个配置属性指定的呢？
hdfs-site.xml文件中；

        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop-senior.ibeifeng.com:50090</value>
        </property>

yarn指定服务器运行

停止dfs服务

报错原因是没有配置hadoop-env.sh中的环境变量。

image.png

停止yarn服务

image.png

停止mapreduces的jobhistory

image.png

执行命令

sbin/mr-jobhistory-daemon.sh stop historyserver

image.png

启动所有服务

由于我们是伪分布式，所有的服务阶段在同一台服务器上。所以可以使用start-all.sh命令

启动历史MapReduce服务

微信关注我们

原文链接：https://yq.aliyun.com/articles/510289

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop组件启动的三种方式及配置SSH无密码登入

第一种方式，逐一启动第二种，分开启动 image.png 第三种，一起启动(不推荐使用) start-all.sh 因为在生产环境中namenode和datanode不可能在一台机器上。组件启动配置 image.png 在实际生产中namenode一台服务器，一个datanode一台服务器。因为是这样所以才引出ssh无秘钥登入。配置 SSH 无密钥登陆使用密码登录，每次都必须输入密码，非常麻烦。SSH还提供了公钥登录，可以省去输入密码的步骤。所谓"公钥登录"，就是用户将自己的公钥储存在远程主机上。登录的时候，远程主机会向用户发送一段随机字符串，用户用自己的私钥加密后，再发回来。远程主机用事先储存的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell，不再要求密码。生成公钥/私钥对 1、执行$ ssh-keygen -t rsa 在$HOME/.ssh/目录下，会新生成两个文件：id_rsa.pub和id_rsa。前者是你的公钥，后者是你的私钥。 2、拷贝公钥至authorized_keys文件 $ ssh-copy-id hadoop-senior...

2018-02-04

576

从一开始就对计算机很感兴趣，初中开始接触计算机，要算第一个接触的编程语言应该算是 HTML，然后就是 PHP，然后才是 C、.NET 等这些大学里面老师教的编程语言囫囵吞枣自己学过的各种语言也数不清了。 Elasticsearch，让他眼前一亮，在推广 Elasticsearch 的过程中，遇到了哪些事情，Elasticsearch 到底在业务中起到了什么作用？让我们听阿里云 MVP 曾勇说：以下是曾勇专访的详细内容，推荐阅读（时长约3分钟个人基本介绍曾经的魔友，玩过一段时间的电直，后面转 4 轴，DIY 过 450、550、330 和 250 轴距的无人机，要知道开源的硬件和开源的软件基本上可以占据你所有的业余时间。后来因为实在太忙，已退魔多年。我有一个个人博客，曾经很长一段时间，这个博客我都取名为「旁门左道」。为什么这么说

2018-02-05

526

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。