Intellij Idea环境下Spark源码阅读环境-低调大师

Intellij Idea环境下Spark源码阅读环境

2016-03-31 712 89

1. 在windows下搭建

Spark源码阅读环境的准备

Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。

本文介绍的是Windows下的各项配置方法（默认已经装了java，JDK）。

我的配置：

JDK ：1.7.71
IDEA：14.0.3
scala：2.11.5
sbt ：0.13.7
git ：1.9.5

下面列举搭建此环境需要的各个组件：

IDEA，有两个版本：Ultimate Edition & Community Edition，后者是free的，而且完全能满足学习者所有的需求
百度云下载：http://pan.baidu.com/s/1c0CQEn2 http://pan.baidu.com/s/1qWqh99a
Scala，Spark是用Scala语言写成的，在本地编译执行需要这个包
百度云下载：http://pan.baidu.com/s/1hqrJLa8
SBT，scala工程构建的工具
百度云下载：windows下：http://pan.baidu.com/s/1gd1VlIz linux下：http://pan.baidu.com/s/1kTl8c1T
Git，IDEA自动下载SBT插件时可能会用到的工具
百度云下载：http://pan.baidu.com/s/1o6mNOKE （linux下自行使用apt-get或yum进行安装）
Spark Source Code，Spark源码
百度云下载：http://pan.baidu.com/s/1i3Bu4RV

下载各个安装包。

Spark源码阅读环境的安装步骤

安装Scala

完成后，在windows命令行中输入scala，检查是否识别此命令。
如果不识别，查看环境变量Path中是否有....\scala\bin（我的电脑右键，属性 -> 高级系统设置 -> 环境变量）,没有的手动将Scala文件夹下的bin目录的路径

安装SBT

运行SBT的安装程序，运行完成后，重新打开windows命令行，输入sbt，检查是否识别此命令。没有的话，手动配置环境变量，添加...\sbt\bin

运行完SBT的安装程序之后，并不意味着完成了sbt的安装，在windows命令放下输入sbt后，SBT会自动的下载安装它所需要的程序包，请耐心等待全部下载成功。

安装Git

运行Git的安装程序，安装完成后，重新打开windows命令行，检查时候识别git命令。（注意：如果在cmd运行git出现丢失libiconv-2.dll的问题时，将Git文件夹下bin\libiconv-2.dll复制到libexec\git-core即可）

安装IDEA

安装IDEA的Scala插件

打开IDEA，在‘Welcome to IntelliJ IDEA’界面的‘Quick Start’栏，点击Configure，选择Plugins。

在弹出的窗口中可以看到已安装的插件，现在IDEA默认还没有Scala的插件。需要点击左下角的Install JetBrains plugin...，在搜索框中输入‘scala’，点击安装。安装完成后可能会要求重启一下IDEA。

解压缩Spark Source Code包

导入Spark工程

在欢迎界面‘Quick Start’栏或者是在主界面的菜单栏File下，选Import Project，找到解压之后的spark工程文件夹，OK。

选择import project from external model中的SBT project，（这个选项只有在安装了IDEA的Scala插件才会有）。

下一步，选择Project SDK为JDK，最好勾上Use auto-import，然后点击Finish。这时，IDEA会自动下载安装SBT所需的各个包，没有装Git的话可能会报错。

因为Spark是一个比较大的工程，所需的包也很多，这个过程也会特别慢，请耐心等待。

导入完成

导入完成后，自动打开工程，要等一段时间，等待sbt对这个工程进行编译。

2. 在linux下生成再在windows打开

在linux系统下进入spark根目录，运行sbt gen-idea, 在漫长的等待之后即可将整个目录复制到windows下使用intellij idea打开工程！（注意，在运行sbt之前应先配置好jdk、sbt、git，不需要配置scala，sbt会自动下载scala）

已生成好的spark源码包：http://pan.baidu.com/s/1c0hcAHU

微信关注我们

原文链接：https://yq.aliyun.com/articles/232702

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-04-01 00:00:00

Intellij idea下spark开发HelloWorld

开发环境 Intellij idea 14 jdk: 1.7.71 spark: 1.1.0 hadoop: 2.4.0 scala: 2.11.1 maven: 3.2.5 创建maven工程在src目录下创建main/java的source文件（在File –> Project Structure…–>Modules–>Sources右键添加目录和修改目录为source类型）在File –> Project Structure…–>Libraries添加spark-assembly-1.1.0-hadoop2.4.0的依赖包 3. java目录下编写Wordcount例子程序 import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apac...

723

2016-04-01 00:00:00

spark wordcount 第一个spark 程序

wordcount package com.baoy.worldcount import org.apache.spark.{SparkConf, SparkContext} /** * Created by cmcc-B100036 on 2016/4/1. */ object WordCount { def main(args: Array[String]) { if(args.length == 0) { println("usage: wordcount <file>") System.exit(1) } val conf = new SparkConf ().setAppName("wordcount") val sc = new SparkContext(conf) sc.textFile(args(0)) .flatMap(_.split(" ")) .map(x => (x, 1)) .reduceByKey(_ + _) .foreach(println) sc.stop() } } pom <dependency> <grou...

608

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。