Hadoop 2.x环境搭建准备-低调大师

Hadoop 2.x环境搭建准备

2018-01-30 573

一：下载Hadoop

image.png

二：安装说明

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html

三：查看是否安装jdk

四：强力卸载已将安装的JDK

空格分开卸载项。利用--nodeps参数强力卸载

image.png

5：上传文件Hadoop和jdk

image.png

:6：解压jdk文件到指定目录

tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

7：设置jdk环境变量

vi /etc/profile
末尾添加java环境变量

image.png

8：环境变量生效

source /etc/profile

image.png

9:解压hadoop

tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/

image.png

10:修改hadoop环境文件

vi /opt/modules/hadoop-2.5.0/etc/hadoop/hadoop-env.sh

image.png

修改java环境变量

image.png

11、hadoop三种启动模式

本地模式
未分布式模式
分布式模式

12、本地模式Local (Standalone) Mode

说明：part-r-00000 表示是MapReduce跑出来的结果。

以dfs开始a-z不限的结果只有一个。

样例统计下面文本中各单词出现的次数

命令说明：jar 命令运行MapReduce样例传入参数统计 wcinput目录下所有文件各单词出现的次数，并把结果输出到wcoutput目录下

查看执行结果

image.png

14、配置hdfs-site.xml

文件分布式存储备份个数
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

15、格式化HDFS的NAMENODE

bin/hdfs namenode -format

16启动HDFS的主节点NameNode

启动命令：sbin/hadoop-daemon.sh start namenode
说明：hadoop-daemon.sh 是hadoop的守护进程，利用它启动HDFS的主节点。

image.png

17、启动HDFS的从节点DataNode

sbin/hadoop-daemon.sh start datanode

18、查看是否启动成功

jps

19、开通8020/50070端口

vi /etc/sysconfig/iptables

20、访问HDFS的web页面

image.png

21、进入HDFS文件系统

image.png

22、创建HDFS文件目录

创建HDFS文件系统目录
bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/input

23、上传wc.input 文本文件

上传wc.input命令：
bin/hdfs dfs -put wcinput/wc.input /user/beifeng/mapreduce/wordcount/input
把wc.input 文件上传到/user/beifeng/mapreduce/wordcount/input目录下

image.png

24、报错：datanode 错误。解决方法

25、上传文件成功并查看

上传用命令：-put

image.png

26、通过HDFS服务器系统统计单词数量

命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/mapreduce/wordcount/input/ /user/beifeng/mapreduce/wordcount/output

image.png

27、查看

命令bin/hdfs dfs -cat /user/beifeng/mapreduce/wordcount/output/part*

image.png

微信关注我们

原文链接：https://yq.aliyun.com/articles/510301

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop 2.x生态系统中常用框架

图片1.png

2018-01-31

532

阿里云 ACE全称Alibaba Cloud Engineer，寓意每个成员都是云计算的工程师、建造者。同时ACE又是扑克牌中的“A”，代表了这群人是云计算中最“王牌”的群体。阿里云 ACE北京同城会旨在打造全国最大最优秀的技术人俱乐部，为技术人提供丰富多彩的活动、聚会和成长滋养。目前活动已经陆陆续续的开展中，也有些许的东西在优化完善，过程中遇到的问题，整理分享；阿里云 ACE 北京官方钉钉群所有技术爱好者的家园，众多资源学习，朋友都在这里 1.活动在哪里参与链接：http://aceclub.huodongxing.com/ 2.过程过程中遇到的问题阿里云的UID如何获得和查询阿里云UID注册及查询打开浏览器并输入网址：a) https://yq.aliyun.com/ 首页右上角 – 免费注册注册a)

2018-02-01

629

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。