首页 文章 精选 留言 我的

ubuntu安装spark2.1 hadoop2.7.3集群

2017-11-26 644

0: 设置系统登录相关

Master要执行

1
cat  $HOME/. ssh /id_rsa .pub >> $HOME/. ssh /authorized_keys

如果用root用户

1
sed  -ri  's/^(PermitRootLogin ).*$/\1yes/'  /etc/ssh/sshd_config

编辑/etc/hosts

1
2
3
4
5
6
7
8
9
10
11
127.0.0.1       localhost    # 别把 spark1 放在这
192.168.100.25   spark1   #spark1 is Master
192.168.100.26   spark2
192.168.100.27   spark3
 
127.0.1.1       ubuntu
 
# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

如果把 spark1 放在/etc/hosts第一行, 会发现在slave 有下面的错误

1
org.apache.hadoop.ipc.Client: Retrying connect to server: spark1 /192 .168.100.25:9000. Already tried 0  time (s)

然后在spark1 运行

1
2
ss -lnt
LISTEN      0      128             localhost:9000

会发现监听的是本地. 删除 hosts中的相关文本重新启动hadoop,解决问题



1: 安装java

可以直接apt-get

1
2
3
4
apt-get  install  python-software-properties -y
add-apt-repository ppa:webupd8team /java
apt-get update
apt-get  install  oracle-java7-installer

或者下载

1
2
3
4
5
6
7
8
9
10
11
12
13
wget http: //download .oracle.com /otn-pub/java/jdk/7u80-b15/jdk-7u80-linux-x64 . tar .gz
mkdir  /usr/lib/jvm
tar  xvf jdk-7u80-linux-x64. tar .gz
mv  jdk1.7.0_80  /usr/lib/jvm
# 配置相关路径
update-alternatives -- install  "/usr/bin/java"  "java"  "/usr/lib/jvm/jdk1.7.0_80/bin/java"  1
update-alternatives -- install  "/usr/bin/javac"  "javac"  "/usr/lib/jvm/jdk1.7.0_80/bin/javac"  1
update-alternatives -- install  "/usr/bin/javaws"  "javaws"  "/usr/lib/jvm/jdk1.7.0_80/bin/javaws"  1
update-alternatives --config java
# 验证一下
java -version
javac -version
javaws -version

添加环境变量

1
2
3
4
5
6
cat  >>  /etc/profile  <<EOF
export  JAVA_HOME= /usr/lib/jvm/jdk1 .7.0_80
export  JRE_HOME= /usr/lib/jvm/jdk1 .7.0_80 /jre
export  CLASSPATH=.:$CLASSPATH:$JAVA_HOME /lib :$JRE_HOME /lib
export  PATH=$PATH:$JAVA_HOME /bin :$JRE_HOME /bin
EOF


2: 安装 hadoop

1
2
3
4
tar  xvf hadoop-2.7.3. tar .gz
mv  hadoop-2.7.3  /usr/local/hadoop
cd  /usr/local/hadoop
mkdir  -p hdfs/{data,name,tmp}

添加环境变量

1
2
3
4
cat  >>  /etc/profile  <<EOF
export  HADOOP_HOME= /usr/local/hadoop
export  PATH=$PATH:$HADOOP_HOME /bin
EOF

编辑 hadoop-env.sh 文件

1
export  JAVA_HOME= /usr/lib/jvm/jdk1 .7.0_80   #只改了这一行

编辑 core-site.xml 文件

1
2
3
4
5
6
7
8
9
10
<configuration>
         <property>
                 <name>fs.defaultFS< /name >
                 <value>hdfs: //spark1 :9000< /value >
         < /property >
         <property>
                 <name>hadoop.tmp. dir < /name >
                 <value> /usr/local/hadoop/hdfs/tmp < /value >
         < /property >        
< /configuration >

编辑 hdfs-site.xml 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<configuration>
         <property>
                 <name>dfs.namenode.name. dir < /name >
                 <value> /usr/local/hadoop/hdfs/name < /value >
         < /property >
         <property>
                 <name>dfs.datanode.data. dir < /name >
                 <value> /usr/local/hadoop/hdfs/data < /value >
         < /property >
         <property>
                 <name>dfs.replication< /name >
                 <value>3< /value >
         < /property >
< /configuration >

编辑 mapred-site.xml 文件

1
2
3
4
5
6
<configuration>
     <property>
         <name>mapreduce.framework.name< /name >
         <value>yarn< /value >
     < /property >
< /configuration >

编辑 yarn-site.xml 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<configuration>
     <property>
         <name>yarn.nodemanager.aux-services< /name >
         <value>mapreduce_shuffle< /value >
     < /property >
     <property>
         <name>yarn.resourcemanager. hostname < /name >
         <value>spark1< /value >
     < /property >
     <!--property>
         别添加这个属性,添加了可能出现下面的错误:
         Problem binding to [spark1:0] java.net.BindException: Cannot assign requested address
         <name>yarn.nodemanager. hostname < /name >
         <value>spark1< /value >
     < /property-- >
< /configuration >

上面相关文件的具体属性及值在官网查询:

https://hadoop.apache.org/docs/r2.7.3/

编辑 masters 文件

1
echo  spark1 > masters

编辑 slaves 文件

1
2
3
spark1
spark2
spark3

安装好后,使用rsync 把相关目录及/etc/profile同步过去即可

启动hadoop dfs

1
. /sbin/start-dfs .sh

初始化文件系统

1
hadoop namenode - format

启动 yarn

1
. /sbin/start-yarn .sh

检查spark1相关进程

1
2
3
4
5
6
7
root@spark1: /usr/local/spark/conf # jps
1699 NameNode
8856 Jps
2023 SecondaryNameNode
2344 NodeManager
1828 DataNode
2212 ResourceManager

spark2 spark3 也要类似下面的运程

1
2
3
4
root@spark2: /tmp # jps
3238 Jps
1507 DataNode
1645 NodeManager

可以打开web页面查看

1
http: //192 .168.100.25:50070

测试hadoop

1
2
3
4
hadoop fs - mkdir  /testin 
hadoop fs -put ~ /str .txt  /testin
cd  /usr/local/hadoop
hadoop jar . /share/hadoop/mapreduce/hadoop-mapreduce-examples-2 .7.3.jar wordcount  /testin/str .txt testout

结果如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
hadoop jar . /share/hadoop/mapreduce/hadoop-mapreduce-examples-2 .7.3.jar wordcount  /testin/str .txt testout 
17 /02/24  11:20:59 INFO client.RMProxy: Connecting to ResourceManager at spark1 /192 .168.100.25:8032
17 /02/24  11:21:01 INFO input.FileInputFormat: Total input paths to process : 1
17 /02/24  11:21:01 INFO mapreduce.JobSubmitter: number of splits:1
17 /02/24  11:21:02 INFO mapreduce.JobSubmitter: Submitting tokens  for  job: job_1487839487040_0002
17 /02/24  11:21:06 INFO impl.YarnClientImpl: Submitted application application_1487839487040_0002
17 /02/24  11:21:06 INFO mapreduce.Job: The url to track the job: http: //spark1 :8088 /proxy/application_1487839487040_0002/
17 /02/24  11:21:06 INFO mapreduce.Job: Running job: job_1487839487040_0002
17 /02/24  11:21:28 INFO mapreduce.Job: Job job_1487839487040_0002 running  in  uber mode :  false
17 /02/24  11:21:28 INFO mapreduce.Job:  map 0% reduce 0%
17 /02/24  11:22:00 INFO mapreduce.Job:  map 100% reduce 0%
17 /02/24  11:22:15 INFO mapreduce.Job:  map 100% reduce 100%
17 /02/24  11:22:17 INFO mapreduce.Job: Job job_1487839487040_0002 completed successfully
17 /02/24  11:22:17 INFO mapreduce.Job: Counters: 49
         File System Counters
                 FILE: Number of bytes  read =212115
                 FILE: Number of bytes written=661449
                 FILE: Number of  read  operations=0
                 FILE: Number of large  read  operations=0
                 FILE: Number of write operations=0
                 HDFS: Number of bytes  read =377966
                 HDFS: Number of bytes written=154893
                 HDFS: Number of  read  operations=6
                 HDFS: Number of large  read  operations=0
                 HDFS: Number of write operations=2
         Job Counters 
                 Launched map tasks=1
                 Launched reduce tasks=1
                 Data- local  map tasks=1
                 Total  time  spent by all maps  in  occupied slots (ms)=23275
                 Total  time  spent by all reduces  in  occupied slots (ms)=11670
                 Total  time  spent by all map tasks (ms)=23275
                 Total  time  spent by all reduce tasks (ms)=11670
                 Total vcore-milliseconds taken by all map tasks=23275
                 Total vcore-milliseconds taken by all reduce tasks=11670
                 Total megabyte-milliseconds taken by all map tasks=23833600
                 Total megabyte-milliseconds taken by all reduce tasks=11950080
         Map-Reduce Framework
                 Map input records=1635
                 Map output records=63958
                 Map output bytes=633105
                 Map output materialized bytes=212115
                 Input  split  bytes=98
                 Combine input records=63958
                 Combine output records=14478
                 Reduce input  groups =14478
                 Reduce shuffle bytes=212115
                 Reduce input records=14478
                 Reduce output records=14478
                 Spilled Records=28956
                 Shuffled Maps =1
                 Failed Shuffles=0
                 Merged Map outputs=1
                 GC  time  elapsed (ms)=429
                 CPU  time  spent (ms)=10770
                 Physical memory (bytes) snapshot=455565312
                 Virtual memory (bytes) snapshot=1391718400
                 Total committed heap usage (bytes)=277348352
         Shuffle Errors
                 BAD_ID=0
                 CONNECTION=0
                 IO_ERROR=0
                 WRONG_LENGTH=0
                 WRONG_MAP=0
                 WRONG_REDUCE=0
         File Input Format Counters 
                 Bytes Read=377868
         File Output Format Counters 
                 Bytes Written=154893


3: 安装 scala

1
2
tar  xvf scala-2.11.8.tgz
mv  scala-2.11.8  /usr/local/scala

添加环境变量

1
2
3
4
cat  >>  /etc/profile  <<EOF
export  SCALA_HOME= /usr/local/scala
export  PATH=$PATH:$SCALA_HOME /bin
EOF

测试

1
2
3
source  /etc/profile
scala -version
Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP /EPFL


4: 安装 spark

1
2
tar  xvf spark-2.1.0-bin-hadoop2.7.tgz
mv  spark-2.1.0-bin-hadoop2.7  /usr/local/spark

添加环境变量

1
2
3
4
5
cat  >>  /etc/profile  <<EOF
export  SPARK_HOME= /usr/local/spark
export  PATH=$PATH:$SPARK_HOME /bin
export  LD_LIBRARY_PATH=$HADOOP_HOME /lib/native 
EOF
1
2
3
export  LD_LIBRARY_PATH=$HADOOP_HOME /lib/native
#这一条不添加的话在运行 spark-shell 时会出现下面的错误
NativeCodeLoader: Unable to load native-hadoop library  for  your platform... using  builtin -java classes where applicable

编辑 spark-env.sh

1
2
SPARK_MASTER_HOST=spark1
HADOOP_CONF_DIR= /usr/locad/hadoop/etc/hadoop

编辑 slaves

1
2
3
spark1
spark2
spark3

启动 spark

1
. /sbin/start-all .sh

此时在spark1上运行jps应该如下, 多了 Master 和 Worker

1
2
3
4
5
6
7
8
9
root@spark1: /usr/local/spark/conf # jps
1699 NameNode
8856 Jps
7774 Master
2023 SecondaryNameNode
7871 Worker
2344 NodeManager
1828 DataNode
2212 ResourceManager

spark2 和 spark3 则多了 Worker

1
2
3
4
5
root@spark2: /tmp # jps
3238 Jps
1507 DataNode
1645 NodeManager
3123 Worker

可以打开web页面查看

1
http: //192 .168.100.25:8080/

运行 spark-shell

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
root@spark1: /usr/local/spark/conf # spark-shell 
Using Spark's default log4j profile: org /apache/spark/log4j-defaults .properties
Setting default log level to  "WARN" .
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17 /02/24  11:55:46 WARN SparkContext: Support  for  Java 7 is deprecated as of Spark 2.0.0
17 /02/24  11:56:17 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Spark context Web UI available at http: //192 .168.100.25:4040
Spark context available as  'sc'  (master =  local [*], app  id  =  local -1487908553475).
Spark session available as  'spark' .
Welcome to
       ____              __
      / __ /__   ___ _____/  /__
     _\ \/ _ \/ _ `/ __/  '_/
    /___/  .__/\_,_ /_/  /_/ \_\   version 2.1.0
       /_/
          
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_80)
Type  in  expressions to have them evaluated.
Type :help  for  more  information.
 
scala> :help

此时可以打开spark 查看

1
http: //192 .168.100.25:4040 /environment/


spark 测试

1
2
3
run-example org.apache.spark.examples.SparkPi
17 /02/28  11:17:20 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 3.491241 s
Pi is roughly 3.1373756868784346

至此完成. 



本文转自 nonono11 51CTO博客，原文链接：http://blog.51cto.com/abian/1900868，如需转载请自行联系原作者

上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/538814

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016全新Linux+Python高端运维班-Linux grep命令及基本正则表达式

本周作业内容： 1、复制/etc/skel目录为/home/tuser1，要求/home/tuser1及其内部文件的属组和其它用户均没有任何访问权限。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 第一种方式： [root@liu/] #chmod-Rgo=---/home/tuser1 [root@liutuser1] #ls-l/home/tuser1/ 总用量4 -rw-------.1rootroot478月2500:01issue 第二种方式： [root@liu/] #rm-rf/home/tuser1/ [root@liu/] #cp-r/etc/skel//home/tuser1 [root@liu/] #chmod-Rg-rwx/home/tuser1/ [root@liu/] #chmod-Ro-rwx/home/tuser1/ [root@liu/] #ls-l/home/tuser1/ 总用量4 -rw-------.1rootroot478月2500:12issue [root@liu/] #ls-ld/h...
2017-11-27
615
上一篇

ELK日志集中化管理系统安装

ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。 ELK Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。 ELK由三个组建构成，分别是 Elasticsearch，负责数据的索引和存储 Logstash ，负责日志的采集和格式化 Kibana，负责前端统计的展示 大致的架构如下： redis提供队列来作为broker负责log传输过程中的缓冲，也可以由kafka等来代替。 一、logstansh安装 1、JDK安装 1 2 3 4 5 yum-y install java-1.8.0 [root@ELKServer~] #java-version openjdkversion "1.8.0_101" OpenJDKRuntimeEnvironment(build1.8.0_101-b13) OpenJDK64-BitServerVM(build25.101-b13,mixe...
2017-11-27
925
下一篇

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
SpringCloud Jdk25 Service Mesh SpringBoot4 Docker Kubernetes OpenAi HarmonyOS6 Nacos3 Rocky Redis DeepSeek Gemini3

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册