hadoop集群环境搭建-低调大师

hadoop集群环境搭建

2017-11-19 511

hadoop大数据集群环境搭建步骤----安装伪分布式

所需软件: vmware workstation 11.0

jdk1.7.0_67

hadoop-2.7.3

filezilla FTP工具

开始搭建步骤:

先安装一台linux服务器,(此步忽略) 需要的童鞋请到网上搜索安装linux系统
关防火墙
service iptables stop
2.设置IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
或者图像化修改！
3.设置network文件hosts映射文件
vi /etc/hosts
vi /etc/sysconfig/network
4.安装jdk
上传JDK解压
配置环境变量:
vi /etc/profile
source /etc/profile
5.安装hadoop
上传 hadoop-2.7.3.tar.gz
解压
6.配置hadoop:
注意：配置过程可以参考：
离线开发文档：
D:\hadoop\tools\hadoop-2.7.3\hadoop-2.7.3\share\doc\hadoop\index.html
在线文档：
配置：
core-site.xml：
<property>
<name>fs.defaultFS</name>
<value>hdfs://Hadoop:9000</value> 端口:8020
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-yarn.beicai.com:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/tmp</value>
</property>
hdfs-site.xml：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
先把mapred-site.xml.template 重命名为mapred-site.xml
maperd-site.xml：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
hadoop-env.sh：
配置jdk：
export JAVA_HOME=/opt/jdk
配置ssh免登陆：
(1).cd /root/.ssh/
(2).生成rsa秘钥：
ssh-keygen -t rsa 一路回车！！！
(3).查看秘钥：
ls
id_rsa id_rsa.pub known_hosts
(4).将公钥copy给自己！
ssh-copy-id root@Hadoop(ssh-copy-id Hadoop有什么区别?)
然后可以查看目录下：
authorized_keys
格式化集群：
hdfs namenode -format
格式化查看日志：
17/02/17 16:18:30 INFO common.Storage: Storage directory
/tmp/hadoop-root/dfs/name has been successfully formatted
因为没配置指定的dfs目录(元数据和数据目录:name和data),所以name和data在Linux系统的tmp目录下：
启动集群：
启动hdfs模块：
./start-dfs.sh
看hdfs启动进程：jps
2608 DataNode
2480 NameNode
2771 SecondaryNameNode
启动yarn模块：
./start-yarn.sh
看hdfs启动进程：jps
2958 ResourceManager
3055 NodeManager
上传文件到hdfs：
./hadoop fs -put /file /
/tmp/hadoop-root/dfs/目录下多出一个data目录，存放数据块
/tmp/hadoop-root/dfs/name目录存放的是元数据！
查看webUI：
http://192.168.57.2:50070/
192.168.57.2 是namenode的IP地址
配置hadoop环境变量：
export HADOOP_HOME=/opt/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新：
source /etc/profile
此后就可以在任何路径下使用hadoop下的bin和sbin的脚本！
本文转自 ChinaUnicom110 51CTO博客，原文链接:http://blog.51cto.com/xingyue2011/1899391

微信关注我们

原文链接：https://yq.aliyun.com/articles/545721

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop Hive概念学习系列之hive的正则表达式初步（六）

说在前面的话 hive的正则表达式，是非常重要！作为大数据开发人员，用好hive，正则表达式，是必须品！ Hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。 1.regexp 语法: A REGEXP B 操作类型: strings 描述: 功能与RLIKE相同 select count(*) from olap_b_dw_hotelorder_f where create_date_wid not regexp '\\d{8}' 与下面查询的效果是等效的： select count(*) from olap_b_dw_hotelorder_f where create_date_wid not rlike '\\d{8}'; 2.regexp_extract 语法: regexp_extract(string subject, string pattern, int index) 返回值: string 说明：将字符串subject按照pattern正则表达式的规则拆分，返回ind...

2017-11-20

513

1.man_page.txt 1.内部命令：echo 查看内部命令帮助：help echo 或者 man echo 2.外部命令：ls 查看外部命令帮助：ls --help 或者 man ls 或者 info ls 3.man文档的类型(1~9) man 7 man man 5 passwd 4.快捷键： ctrl + c：停止进程 ctrl + l：清屏 ctrl + r：搜索历史命令 ctrl + q：退出 5.善于用tab键 2.常用命令说明：安装linux时，创建一个itcast用户，然后使用root用户登陆系统 1.进入到用户根目录 cd ~ 或 cd 2.查看当前所在目录 pwd 3.进入到itcast用户根目录 cd ~itcast 4.返回到原来目录 cd - 5.返回到上一级目录 cd .. 6.查看itcast用户根目录下的所有文件 ls -la 7.在根目录下创建一个itcast的文件夹 mkdir /itcast 8.在/itcast目录下创建src和WebRoot两个文件夹分别创建：mkdir /itcast/src mkdir /itcast/WebRo...

2017-11-20

439

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。