Hadoop组件启动的三种方式及配置SSH无密码登入-低调大师

Hadoop组件启动的三种方式及配置SSH无密码登入

2018-02-03 685

第一种方式，逐一启动

第二种，分开启动

image.png

第三种，一起启动(不推荐使用)

start-all.sh
因为在生产环境中namenode和datanode不可能在一台机器上。

组件启动配置

image.png

在实际生产中namenode一台服务器，一个datanode一台服务器。
因为是这样所以才引出ssh无秘钥登入。

配置 SSH 无密钥登陆

使用密码登录，每次都必须输入密码，非常麻烦。SSH还提供了公钥登录，可以省去输入密码的步骤。

所谓"公钥登录"，就是用户将自己的公钥储存在远程主机上。登录的时候，远程主机会向用户发送一段随机字符串，用户用自己的私钥加密后，再发回来。远程主机用事先储存的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell，不再要求密码。
生成公钥/私钥对

1、执行$ ssh-keygen -t rsa

在$HOME/.ssh/目录下，会新生成两个文件：id_rsa.pub和id_rsa。前者是你的公钥，后者是你的私钥。

2、拷贝公钥至authorized_keys文件

$ ssh-copy-id hadoop-senior.ibeifeng.com

微信关注我们

原文链接：https://yq.aliyun.com/articles/510290

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云场景实践研究第20期：梨视频

更多云场景实践研究案例，点击这里：【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽作为中国领先的资讯类短视频生产者，梨视频采用阿里云平台搭建了数据处理系统和梨视频推荐系统，本文从架构和实现的角度介绍梨视频上云的实践经验。 “Log Store是一站式日志收集服务系统，通过配置、过滤将所需的日志推送到目标区域，它提供了两种消费途径：一是通过阿里云EMR中的Spark Streaming消费Log Store中的日志，进行实时分析、统计；二是将日志推送到阿里云OSS上永久备份，以供后期使用。” ——杨智梨视频大数据负责人采用的阿里云产品阿里云服务器ECS 阿里云对象存储 OSS 阿里云阿里云云数据库 RDS 阿里云云数据库Redis 阿里云 E-MapReduce 阿里云日志服务 LOG 关于梨视频梨视频是中国领先的

2018-02-03

769

HDFS指定服务器运行修改$hadoop/etc/hadoop/core-site.xml 指定namenode配置服务器指定datanode配置服务器修改slaves文件 image.png secondarynamenode配置服务器 SecondaryNameNode：是由哪个文件中的哪个配置属性指定的呢？ hdfs-site.xml文件中； <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop-senior.ibeifeng.com:50090</value> </property> yarn指定服务器运行停止dfs服务报错原因是没有配置hadoop-env.sh中的环境变量。 image.png 停止yarn服务 image.png 停止mapreduces的jobhistory image.png image.png 执行命令 sbin/mr-jobhistory-daemon.sh stop his...

2018-02-03

626

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。