Hadoop组件启动的三种方式及配置SSH无密码登入-低调大师

Hadoop组件启动的三种方式及配置SSH无密码登入

2018-02-03 586

第一种方式，逐一启动

第二种，分开启动

image.png

第三种，一起启动(不推荐使用)

start-all.sh
因为在生产环境中namenode和datanode不可能在一台机器上。

组件启动配置

image.png

在实际生产中namenode一台服务器，一个datanode一台服务器。
因为是这样所以才引出ssh无秘钥登入。

配置 SSH 无密钥登陆

使用密码登录，每次都必须输入密码，非常麻烦。SSH还提供了公钥登录，可以省去输入密码的步骤。

所谓"公钥登录"，就是用户将自己的公钥储存在远程主机上。登录的时候，远程主机会向用户发送一段随机字符串，用户用自己的私钥加密后，再发回来。远程主机用事先储存的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell，不再要求密码。
生成公钥/私钥对

1、执行$ ssh-keygen -t rsa

在$HOME/.ssh/目录下，会新生成两个文件：id_rsa.pub和id_rsa。前者是你的公钥，后者是你的私钥。

2、拷贝公钥至authorized_keys文件

$ ssh-copy-id hadoop-senior.ibeifeng.com

微信关注我们

原文链接：https://yq.aliyun.com/articles/510290

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云场景实践研究第20期：梨视频

更多云场景实践研究案例，点击这里：【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽作为中国领先的资讯类短视频生产者，梨视频采用阿里云平台搭建了数据处理系统和梨视频推荐系统，本文从架构和实现的角度介绍梨视频上云的实践经验。 “Log Store是一站式日志收集服务系统，通过配置、过滤将所需的日志推送到目标区域，它提供了两种消费途径：一是通过阿里云EMR中的Spark Streaming消费Log Store中的日志，进行实时分析、统计；二是将日志推送到阿里云OSS上永久备份，以供后期使用。” ——杨智梨视频大数据负责人采用的阿里云产品阿里云服务器ECS 阿里云对象存储 OSS 阿里云阿里云云数据库 RDS 阿里云云数据库Redis 阿里云 E-MapReduce 阿里云日志服务 LOG 关于梨视频梨视频是中国领先的

2018-02-04

669

HDFS指定服务器运行修改$hadoop/etc/hadoop/core-site.xml 指定namenode配置服务器指定datanode配置服务器修改slaves文件 image.png secondarynamenode配置服务器 SecondaryNameNode：是由哪个文件中的哪个配置属性指定的呢？ hdfs-site.xml文件中； <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop-senior.ibeifeng.com:50090</value> </property> yarn指定服务器运行停止dfs服务报错原因是没有配置hadoop-env.sh中的环境变量。 image.png 停止yarn服务 image.png 停止mapreduces的jobhistory image.png image.png 执行命令 sbin/mr-jobhistory-daemon.sh stop his...

2018-02-04

523

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。