环境搭建-CentOS服务器之间设置免密码登录
在做大数据项目分布式开发时会用到Hadoop组件,Hadoop集群由Namenode节点和Datanode节点组成,在运行启动集群操作时,需要从Namenode节点登录到Datanode节点,执行相关启动脚本,因此需要配置免密码登录。
1.使用root账户修改shhd_config配置文件
执行命令【vi /etc/ssh/sshd_config】
去掉RSAAuthention yes前面的#
去掉PubkeyAuthentication yes前面的#
然后运行命令【service sshd restart】生效配置
2.使用rsa非对称加密生成密钥
进入用户目录,运行命令【ssh-keygen -t rsa】生成密钥
进入【.ssh】目录,会发现生成了如下几个文件:
authorized_keys:存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥
id_rsa:私钥文件
id_rsa.pub:公钥文件
3.将公钥添加到需要远程登录机器的authorized_keys文件中
在添加之前先做一个测试,现在通过【ssh localhost】命令试试本机有没有免密码登录
出现需要输入密码界面,证明还没有免密,需要将公钥添加到authorized_keys中,运行文件追加命令【cat id_rsa.pub >> authorized_keys】。
再通过【ssh localhost】命令试试本机有没有免密码登录:
测试通过,现在就可以将公钥添加到需要远程登录机器的authorized_keys文件中,然后就实现了Namenode节点到Datanode节点的免密码登录。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
MaxCompute帮你五步实现用户画像的数据加工
企业最终的数据往往都隐藏在日志背后,如果从日志背后挖掘出有价值的信息,勾画出平台或网站的用户画像对精准化运营有着重要的帮助。阿里云技术专家祎休带来阿里在处理日志、构建数仓上的最佳实践分享。主要从数仓开发开始谈起,重点讲解了数据加工用户画像的五大步骤,最后进行了演示解析。直播视频回顾请点击 以下是精彩视频内容整理: 数据融合加工-数仓开发 大数据仓库特殊引擎提供我们一站式的PB级大数据仓库解决方案,那么,我们如何基于MaxCompute去构建仓库,如何去帮数据进行清洗加工,然后去挖掘出有价值的信息?MaxCompute2.0推出了一些新功能,比如说非结构化数据的处理, MaxCompute支持非结构化数据存储在OSS上,以前的方式是通过数据集成工具或者自己去写一些任务,将这些数据周期性或者一次性同步到MaxCompute上来,既有开发成本
- 下一篇
hive分区表
Partition 对应于数据库的 Partition 列的密集索引 在 Hive 中,表中的一个 Partition 对应于表下的一个目录,所有的 Partition 的数据都存储在对应的目录中 例如: test表中包含 date 和 city 两个 Partition 则对应于date=20130201, city = bj 的 HDFS 子目录为: /warehouse/test/date=20130201/city=bj 对应于date=20130202, city=sh 的HDFS 子目录为; /warehouse/test/date=20130202/city=sh 创建表 create table partition_table(id int,name string) partitioned by(age int,high int); alter table partition_table add partition (age=20,high=180); insert into hive_test.partition_table PARTITION (age,high) ...
相关文章
文章评论
共有0条评论来说两句吧...