Spark 安装配置简单测试

2016-11-24 587

简介

Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。
来源：百度百科

Hadoop 和 Spark 的异同

https://www.oschina.net/news/73939/hadoop-spark-%20difference

Hadoop安装

http://blog.csdn.net/fenglailea/article/details/53318459

系统环境

Centos 7 服务器
当前用户 hadoop

Scala下载安装和配置

http://www.scala-lang.org/download/

wget http://downloads.lightbend.com/scala/2.12.0/scala-2.12.0.tgz
tar zxvf scala-2.12.0.tgz
mv scala-2.12.0 ~/scala

Scala环境变量设置

vim ~/.bashrc

增加

export SCALA_HOME=/home/hadoop/scala/bin
export PATH=$PATH:$SCALA_HOME

Spark下载

http://spark.apache.org/downloads.html
http://archive.apache.org/dist/spark/

wget http://archive.apache.org/dist/spark/spark-2.0.2/spark-2.0.2-bin-without-hadoop.tgz
tar zxvf spark-2.0.2-bin-without-hadoop.tgz

Spark安装

mv spark-2.0.2-bin-without-hadoop ~/spark

Spark配置环境变量

vim ~/.bashrc

加入

export SPARK_HOME=/home/hadoop/spark/bin
export PATH=$PATH:$SPARK_HOME

应用环境变量

. ~/.bashrc

配置

cp -rf /home/hadoop/spark/conf/log4j.properties.template /home/hadoop/spark/conf/log4j.properties
cp -rf /home/hadoop/spark/conf/spark-env.sh.template /home/hadoop/spark/conf/spark-env.sh

修改日志级别

vim /home/hadoop/spark/conf/log4j.properties

修改为

log4j.rootCategory=WARN, console

编辑 spark-env.sh文件

vim /home/hadoop/spark/conf/spark-env.sh

最后一行加入:

export SPARK_DIST_CLASSPATH=$(/home/hadoop/hadoop/bin/hadoop classpath)

说明：hadoop 的执行文件

测试

即计算 π 的近似值

/home/hadoop/spark/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

微信关注我们

原文链接：https://yq.aliyun.com/articles/66202

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

流计算StreamCompute

免费开通大数据服务：https://www.aliyun.com/product/odps 背景每年的双十一除了“折扣”，全世界（特别是阿里人）都关注的另一个焦点是面向媒体直播的“实时大屏”（如下图所示）。包括总成交量在内的各项指标，通过数字维度展现了双十一狂欢节这一是买家，卖家及物流小二一起创造的奇迹！双十一媒体直播大屏这一大屏背后需要实时处理海量的庞大电商系统各个模块产生的交易日志，例如双十一当前产生的日志量达到了3.7PB，而每秒处理的峰值更是达到了近1亿事件！如此大规模、高吞吐和低延时计算，带来一系列世界级的技术挑战，包括： 1. 实时编程：流式的数据处理给业务逻辑的表达和推理带来了很多的复杂性。特别面对不断变化的业务需求，如何帮助用户快速地编写和验证实时计算逻辑是至关重要的。 2. 低延时：实时计算强调计算延时

2016-11-25

681

一.单机模式 1.安装HBase tar -xzvf hbase-0.92.1.tar.gz 　 2.配置参数修改hbase-site.xml： <configuration> <property> <name>hbase.rootdir</name> <value>/home/xiongzheng/hadoop/hbase-0.92.1/data</value> </property> </configuration> 　 3.配置/etc/hosts , 将127.0.0.1改为本地ip 10.17.12.95 localhost 10.17.12.95 xiongzheng-Lenovo 　 4.启动HBase bin/start-hbase.sh 　 5.简单操作 bin/hbase shell (1).建立表格user_info，以及两个列族 k、v create 'user_info','k','v' (2).查看表 list (3) 查看表结构 describe 'user_...

2016-11-25

581

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。