Spark2.1.0之运行环境准备-低调大师

Spark2.1.0之运行环境准备

2018-05-03 636 89

学习一个工具的最好途径，就是使用它。这就好比《极品飞车》玩得好的同学，未必真的会开车，要学习车的驾驶技能，就必须用手触摸方向盘、用脚感受刹车与油门的力道。在IT领域，在深入了解一个系统的原理、实现细节之前，应当先准备好它的运行环境或者源码阅读环境。如果能在实际环境下安装和运行Spark，显然能够提升读者对于Spark的一些感受，对系统能有个大体的印象，有经验的工程师甚至能够猜出一些Spark在实现过程中采用的设计模式、编程模型。

考虑到大部分公司在开发和生产环境都采用Linux操作系统，所以笔者选用了64位的Linux。在正式安装Spark之前，先要找台好机器。为什么？因为笔者在安装、编译、调试的过程中发现Spark非常耗费内存，如果机器配置太低，恐怕会跑不起来。Spark的开发语言是Scala，而Scala需要运行在JVM之上，因而搭建Spark的运行环境应该包括JDK和Scala。

本文只介绍最基本的与Spark相关的准备工作，至于Spark在实际生产环境下的配置，则需要结合具体的应用场景进行准备。

安装JDK

自Spark2.0.0版本开始，Spark已经准备放弃对Java 7的支持，所以我们需要选择Java 8。我们还需要使用命令getconf LONG_BIT查看linux机器是32位还是64位，然后下载相应版本的JDK并安装。

下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/index.html。

配置环境：

cd ~

vim .bash_profile

添加如下配置：

exportJAVA_HOME=/opt/java

exportPATH=$PATH:$JAVA_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

输入以下命令使环境变量快速生效：

source .bash_profile

安装完毕后，使用java –version命令查看，确认安装正常，如图1所示。

图1 查看java安装是否正常

安装Scala

由于从Spark 2.0.0开始，Spark默认使用Scala 2.11来编译、打包，不再是以前的Scala 2.10，所以我们需要下载Scala 2.11。

下载地址：

http://www.scala-lang.org/download/

选择Scala 2.11的版本进行下载，下载方法如下：

wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

移动到选好的安装目录，例如：

mv scala-2.11.8.tgz~/install/

进入安装目录，执行以下命令：

chmod 755scala-2.11.8.tgz

tar -xzvfscala-2.11.8.tgz

配置环境：

cd ~

vim .bash_profile

添加如下配置：

exportSCALA_HOME=$HOME/install/scala-2.11.8

exportPATH=$SCALA_HOME/bin:$PATH

输入以下命令使环境变量快速生效：

source .bash_profile

安装完毕后键入scala，进入scala命令行以确认安装正常，如图2所示。

图2 进入Scala命令行

安装Spark

Spark进入2.0时代之后，目前一共有两个大的版本：一个是2.0.0，一个是2.1.0。本书选择2.1.0。

下载地址：

http://spark.apache.org/downloads.html

下载方法如下：

wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz移动到选好的安装目录，如：

mv spark-2.1.0-bin-hadoop2.6.tgz~/install/

进入安装目录，执行以下命令：

chmod 755 spark-2.1.0-bin-hadoop2.6.tgz

tar -xzvf spark-2.1.0-bin-hadoop2.6.tgz

配置环境：

cd ~

vim .bash_profile

添加如下配置：

export SPARK_HOME=$HOME/install/spark-2.1.0-bin-hadoop2.6

exportPATH=$SPARK_HOME/bin:$PATH

输入以下命令使环境变量快速生效：

source .bash_profile

安装完毕后键入spark-shell，进入scala命令行以确认安装正常，如图3所示。

图3 执行spark-shell进入Scala命令行

有了对spark运行环境的准备，下面就可以来看看《Spark2.1.0之初体验》

想要对Spark源码进行阅读的同学，可以看看《Spark2.1.0之代码结构及载入Ecplise方法》

关于《Spark内核设计的艺术架构设计与实现》

经过近一年的准备，基于Spark2.1.0版本的《 Spark内核设计的艺术架构设计与实现》一书现已出版发行，图书如图：

纸质版售卖链接如下：

京东： https://item.jd.com/12302500.html

电子版售卖链接如下：

京东： https://e.jd.com/30389208.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/632432

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

精选10大机器学习开源项目 !（附链接）

本文推荐的10大机器学习开源项目是由Mybridge从250个机器学习开源项目中挑选出来的，Github平均star为1385，主题包含：Tensorflow, Augmentation, AlphaGo Zero, NSynth, Deep Neuroevolution, Person Blocker, TCN, Ann Visualizer, Watson等。 Rank 1：TensorFlow.js （6129 stars on Github，来自TensorFlow团队）该项目是一个开源的硬件加速 JavaScript 库，可在浏览器中训练和部署机器学习模型。项目地址： https://github.com/tensorflow/tfjs Rank 2：Augmentor v0.2 （1661 stars on Github，来自M

597

Learn Influxdb the hard way (3) - Services in Influxdb I

前言在上一篇文章中我们梳理了Influxdb的代码主流程结构，从本篇开始将会对Influxdb中的各种Service进行分析，由于篇幅的限制，在这篇文章中会先介绍下MonitorService。在上文中，我们知道Influxdb是通过如下的方式注册Service。 //cmd/influxd/run/server.go 371 s.appendMonitorService() s.appendPrecreatorService(s.config.Precreator) s.appendSnapshotterService() s.appendContinuousQueryService(s.config.ContinuousQuery) s.appendHTTPDService(s.c

642

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。