Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置-低调大师

Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置

2016-10-19 585

一、下载资料

1. JDK 1.6 +

2. Scala 2.10.4

3. Hadoop 2.6.4

4. Spark 1.6

二、预先安装

1. 安装JDK

2. 安装Scala 2.10.4

解压安装包即可

3. 配置sshd

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

mac 启动sshd

sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist

查看启动

sudo launchctl list | grep ssh

输出- 0 com.openssh.sshd 表示启动成功

停止sshd服务

sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist

三、安装Hadoop

1. 创建Hadoop文件系统目录

mkdir -pv hadoop/workspace

cd hadoop/workspace

mkdir tmp

mkdir -pv hdfs/data

mkdir -pv hdfs/name

添加hadoop目录环境变量

vi ~/.bashrc

HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4

配置hadoop，都在$HADOOP_HOME/etc/hadoop 下

1. core-site.xml

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/Users/ysisl/app/hadoop/workspace/tmp</value>

<description>namenode temp dir</description>

</property>

</configuration>

2. hdfs-site.xml

<value>/Users/ysisl/app/hadoop/workspace/hdfs/name</value>

<description>namenode上存储hdfs名字空间元数据 </description>

</property>

<value>/Users/ysisl/app/hadoop/workspace/hdfs/data</value>

<description>datanode上数据块的物理存储位置</description>

</property>

<name>dfs.replication</name>

<description>副本个数，配置默认是3,应小于datanode机器数量</description>

</property>

</configuration>

3. copy mapred-site.xml.template to mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

</configuration>

4. yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>localhost:8099</value>

</property>

</configuration>

5. 格式化HDFS文件系统

$HADOOP_HOME/bin/hdfs namenode -format

6. 进入sbin/ 执行 start-all.sh

7. 执行jps 查看是否正常启动

21472

30256 Jps

29793 DataNode

29970 SecondaryNameNode

29638 NameNode

30070 ResourceManager

30231 NodeManager

8. 打开 http://localhost:50070/explorer.html 网页查看hadoop目录结构，说明安装成功

四、安装Spark

1. 解压spark压缩包

tar xvzf spark.1.6.tar.gz

2. 加入环境变量

vi ~/.bashrc

SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4

SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6

2. 设置配置文件

cd spar-1.6.1-bin-hadoop2.6/conf

cp spark-env.sh.template spark-env.sh

vi spar-env.sh

添加如下内容

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home

export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4

export HADOOP_CONF_DIR=/Users/ysisl/app/hadoop/hadoop-2.6.4/etc/hadoop

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_CORES=2

export SPARK_WORKER_MEMORY=2g

cp slaves.template slaves

默认slaves现在就主机一台

3. 启动 sbin/start-all.sh

jps 查看到多出一个Master，worker进程

21472

29793 DataNode

29970 SecondaryNameNode

30275 Master

30468 SparkSubmit

29638 NameNode

30070 ResourceManager

30231 NodeManager

30407 Worker

30586 Jps

4. 配置scala 、spark 、 hadoop 环境变量加入PATH ，方便执行

vi ~/.bashrc

export HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4

export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4

export SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6

export PATH="${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH"

五. 测试运行

1. 准备一个csv文件，路径 /Users/ysisl/app/hadoop/test.csv

2. 查看DFS文件系统结构，执行 hadoop fs -lsr /

3. 新建目录， hadoop fs -mkdir /test

4. 上传文件到目录， hadoop fs -put /Users/ysisl/app/hadoop/test.csv /test/

5. hadoop fs -lsr / 查看已创建的目录文件

6. 执行 spark-shell

scala > val file=sc.textFile("hdfs:/test/test.csv")

scala > val count=file.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey(_+_)

scala > count.collect

7. 查看执行状态

a. localhost:8080 ，查看spark 集群运行情况。此端口一般与其他端口冲突

在spark-env.sh 中加入 export SPARK_MASTER_WEBUI_PORT=98080 来指定

b. http://localhost:4040/jobs/ ，查看 spark task job运行情况

c. http://localhost:50070/ hadoop集群运行情况

微信关注我们

原文链接：https://yq.aliyun.com/articles/640275

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

[ElasticSearch]精确值与全文文本

Elasticsearch中的数据可以大致分为两种类型：精确值和全文文本。 1. 精确值（Exact values）精确值是精确的，正如它的名字一样。比如一个日期或一个用户ID，也可以包含精确的字符串，比如用户姓名或邮件地址。精确值"Foo"不同于和精确值"foo"。同样，精确值2014和精确值2014-09-15也不相同。 2. 全文文本（Full text）全文文本，换句话说，是文本化的数据(常常以人类的语言书写)，比如一篇Twitter文章或邮件正文等。备注全文文本常常被称为非结构化数据，其实是一种用词不当的称谓，实际上自然语言是高度结构化的。问题是自然语言的语法规则是如此的复杂，计算机难以正确解析。例如这个句子： May is fun but June bores me. 到底是说的月份还是人呢？ 3. 对比精确值是比较容易查询。因为就两个结果，要么匹配，要么不匹配。这类的查询很容易用SQL表达： WHERE name = "John Smith" AND user_id = 2 AND date > "2014-09-15" 而对于查询全文文本数据来说，却有些...

2016-10-19

664

通常，我们希望能够在lambda表达式的闭合方法或类中访问其他的变量，例如： packagejava8test; publicclassT1{ publicstaticvoidmain(String[]args){ repeatMessage("Hello",20); } publicstaticvoidrepeatMessage(Stringtext,intcount){ Runnabler=()->{ for(inti=0;i<count;i++){ System.out.println(text); Thread.yield(); } }; newThread(r).start(); } } 注意看lambda表达式中的变量count和text，它们并没有在lambda表达式中被定义，而是方法repeatMessage的参数变量。如果你思考一下，就会发现这里有一些隐含的东西。lambda表达式可能会在repeatMessage返回之后才运行，此时参数变量已经消失了。如果保留text和count变量会怎样呢？为了理解这一点，我们需要对lambda表达式有更深入的理解...

2016-10-20

629

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。