hadoop集群环境搭建-低调大师

hadoop集群环境搭建

2017-11-19 536

hadoop大数据集群环境搭建步骤----安装伪分布式

所需软件: vmware workstation 11.0

jdk1.7.0_67

hadoop-2.7.3

filezilla FTP工具

开始搭建步骤:

先安装一台linux服务器,(此步忽略) 需要的童鞋请到网上搜索安装linux系统
关防火墙
service iptables stop
2.设置IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
或者图像化修改！
3.设置network文件hosts映射文件
vi /etc/hosts
vi /etc/sysconfig/network
4.安装jdk
上传JDK解压
配置环境变量:
vi /etc/profile
source /etc/profile
5.安装hadoop
上传 hadoop-2.7.3.tar.gz
解压
6.配置hadoop:
注意：配置过程可以参考：
离线开发文档：
D:\hadoop\tools\hadoop-2.7.3\hadoop-2.7.3\share\doc\hadoop\index.html
在线文档：
配置：
core-site.xml：
<property>
<name>fs.defaultFS</name>
<value>hdfs://Hadoop:9000</value> 端口:8020
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-yarn.beicai.com:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/tmp</value>
</property>
hdfs-site.xml：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
先把mapred-site.xml.template 重命名为mapred-site.xml
maperd-site.xml：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
hadoop-env.sh：
配置jdk：
export JAVA_HOME=/opt/jdk
配置ssh免登陆：
(1).cd /root/.ssh/
(2).生成rsa秘钥：
ssh-keygen -t rsa 一路回车！！！
(3).查看秘钥：
ls
id_rsa id_rsa.pub known_hosts
(4).将公钥copy给自己！
ssh-copy-id root@Hadoop(ssh-copy-id Hadoop有什么区别?)
然后可以查看目录下：
authorized_keys
格式化集群：
hdfs namenode -format
格式化查看日志：
17/02/17 16:18:30 INFO common.Storage: Storage directory
/tmp/hadoop-root/dfs/name has been successfully formatted
因为没配置指定的dfs目录(元数据和数据目录:name和data),所以name和data在Linux系统的tmp目录下：
启动集群：
启动hdfs模块：
./start-dfs.sh
看hdfs启动进程：jps
2608 DataNode
2480 NameNode
2771 SecondaryNameNode
启动yarn模块：
./start-yarn.sh
看hdfs启动进程：jps
2958 ResourceManager
3055 NodeManager
上传文件到hdfs：
./hadoop fs -put /file /
/tmp/hadoop-root/dfs/目录下多出一个data目录，存放数据块
/tmp/hadoop-root/dfs/name目录存放的是元数据！
查看webUI：
http://192.168.57.2:50070/
192.168.57.2 是namenode的IP地址
配置hadoop环境变量：
export HADOOP_HOME=/opt/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新：
source /etc/profile
此后就可以在任何路径下使用hadoop下的bin和sbin的脚本！
本文转自 ChinaUnicom110 51CTO博客，原文链接:http://blog.51cto.com/xingyue2011/1899391

微信关注我们

原文链接：https://yq.aliyun.com/articles/545721

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop Hive概念学习系列之hive的正则表达式初步（六）

说在前面的话 hive的正则表达式，是非常重要！作为大数据开发人员，用好hive，正则表达式，是必须品！ Hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。 1.regexp 语法: A REGEXP B 操作类型: strings 描述: 功能与RLIKE相同 select count(*) from olap_b_dw_hotelorder_f where create_date_wid not regexp '\\d{8}' 与下面查询的效果是等效的： select count(*) from olap_b_dw_hotelorder_f where create_date_wid not rlike '\\d{8}'; 2.regexp_extract 语法: regexp_extract(string subject, string pattern, int index) 返回值: string 说明：将字符串subject按照pattern正则表达式的规则拆分，返回ind...

2017-11-20

545

1.man_page.txt 1.内部命令：echo 查看内部命令帮助：help echo 或者 man echo 2.外部命令：ls 查看外部命令帮助：ls --help 或者 man ls 或者 info ls 3.man文档的类型(1~9) man 7 man man 5 passwd 4.快捷键： ctrl + c：停止进程 ctrl + l：清屏 ctrl + r：搜索历史命令 ctrl + q：退出 5.善于用tab键 2.常用命令说明：安装linux时，创建一个itcast用户，然后使用root用户登陆系统 1.进入到用户根目录 cd ~ 或 cd 2.查看当前所在目录 pwd 3.进入到itcast用户根目录 cd ~itcast 4.返回到原来目录 cd - 5.返回到上一级目录 cd .. 6.查看itcast用户根目录下的所有文件 ls -la 7.在根目录下创建一个itcast的文件夹 mkdir /itcast 8.在/itcast目录下创建src和WebRoot两个文件夹分别创建：mkdir /itcast/src mkdir /itcast/WebRo...

2017-11-20

458

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。