win10 spark+scala+eclipse+sbt 安装配置
我的原创地址:https://dongkelun.com/2018/03/15/winSparkConf/
1、首先安装配置jdk1.8以上,建议全部的安装路径不要有空格
2、安装spark
2.1 下载
下载地址:http://spark.apache.org/downloads.html,我下载的是 spark-2.2.1-bin-hadoop2.7.tgz
2.2 安装
解压到指定路径下即可,比如 D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7
2.3 配置环境变量
在系统变量Path添加一条:D:\Company\bigdata\spark-2.2.1-bin-hadoop2.7\bin 即可
3、安装hadoop
3.1 下载
下载地址:https://archive.apache.org/dist/hadoop/common/(需要和spark对应的版本保持一致,我选择的hadoop-2.7.1.tar.gz)
(此链接下载较慢,可选择其他镜像下载其他版本如:http://mirror.bit.edu.cn/apache/hadoop/common/)
3.2 安装
解压到指定路径下即可,比如 D:\Company\bigdata\hadoop-2.7.1
3.3 配置环境变量
在系统变量里添加 HADOOP_HOME:D:\Company\bigdata\hadoop-2.7.1
3.4 下载winutils.exe
1.下载地址:https://github.com/steveloughran/winutils(找到对应的版本下载)
2. 将其复制到 %HADOOP_HOME% 即D:\Company\bigdata\hadoop-2.7.1\bin
3.5 解决/temp/hive 不可写错误
执行以下语句:D:\Company\bigdata\hadoop-2.7.1\bin\winutils.exe chmod 777 /tmp/hive 即可,参考:http://mangocool.com/1473838702533.html
3.6 运行验证spark
在命令行输入:spark-shell,出现如下图所示即为成功(其中warn信息已在日志配置文件里去掉)
4、安装对应版本的scala(scala-2.11.8.msi)
4.1 下载
下载地址:https://www.scala-lang.org/download/all.html
4.2 安装
一键式安装到指定目录:D:\Company\bigdata\scala
4.3 配置环境变量
安装过程中已经自动配好
4.4 验证
输入scala -version 查看版本号 ,输入scala 进入scala的环境
5、在eclipse上安装scala插件
5.1安装
在Eclipse中选择Help->Install new Software
等待一会儿:
然后下一步下一步
中间有一个警告,点ok即可,最后根据提示重启eclipse即可安装完成
5.1运行scala程序
5.1.1 新建scala project
5.1.2 将默认的sacala版本改为之前安装的版本
5.1.3 编写salca程序,即可像运行java一样运行scala
6、安装sbt
6.1 下载(sbt-1.1.1.msi)
下载地址:https://www.scala-sbt.org/download.html
6.2 安装
一键式安装到指定目录:D:\Company\bigdata\scala-sbt
6.3 配置环境变量
SBT_HOME=D:\Company\bigdata\scala-sbt
path=%SBT_HOME%\bin
6.3 配置本地仓库
编辑:conf/sbtconfig.txt
# Set the java args to high -Xmx512M -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=128m # Set the extra SBT options -Dsbt.log.format=true -Dsbt.boot.directory=D:/Company/bigdata/scala-sbt/boot/ -Dsbt.global.base=D:/Company/bigdata/scala-sbt/.sbt -Dsbt.ivy.home=D:/Company/bigdata/scala-sbt/.ivy2 -Dsbt.repository.config=D:/Company/bigdata/scala-sbt/conf/repo.properties
增加文件 conf/repo.properties
[repositories] local Nexus osc : https://code.lds.org/nexus/content/groups/main-repo Nexus osc thirdparty : https://code.lds.org/nexus/content/groups/plugin-repo/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly typesafe2: http://repo.typesafe.com/typesafe/releases/ sbt-plugin: http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/ sonatype: http://oss.sonatype.org/content/repositories/snapshots uk_maven: http://uk.maven.org/maven2/ ibibli: http://mirrors.ibiblio.org/maven2/ repo2: http://repo2.maven.org/maven2/
6.4 验证
输入:sbt
(第一次使用会下载复制一些文件)
7、安装eclipse的sbt插件:sbteclipse
sbteclipse是eclipse的sbt插件,但与一般eclipse插件的配置及使用并不相同。
sbteclipse项目源码托管在github上:https://github.com/typesafehub/sbteclipse
(7.1和7.2不确定是否是必须的,一台机器不需要,另一台因在~/.sbt文件下没有1.0和0.13文件夹,执行这两步即可)
7.1 下载项目
git clone https://github.com/sbt/sbteclipse.git
或下载zip再解压
7.2 编译
进入到sbteclipse目录下,输入
sbt compile
7.3 添加全局配置文件
新建:~/.sbt/1.0/plugins/plugins.sbt(网上好多说是:~/.sbt/0.13/plugins/plugins.sbt,但我两个电脑都不行)
addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "5.2.4")
7.4 进入到之前创建的项目ScalaDemo目录下
添加sbt配置文件build.sbt
name := "ScalaDemo" version := "1.0" scalaVersion := "2.11.8" javacOptions ++= Seq("-source", "1.8", "-target", "1.8") libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.2.1" )
输入 sbt 然后输入eclipse 等待相关的依赖下载完,就可以在eclipse 看到依赖的jar了
7.5 最后将src bulid path 一下,就可以在scala代码里导入spark包了
8、 如果想调用本地spark,在SparkConf或者在SparkSession设置matser为local(本地模式)即可
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
利用Skywalking-netcore监控你的应用性能
Skywalking SkyWalking开源项目由吴晟于2015年创建,同年10月在GitHub上作为个人项目开源。 SkyWalking项目的核心目标,是针对微服务、Cloud Native、容器化架构,提供应用性能监控(APM)和分布式调用链追踪能力。 2017年11月,SkyWalking社区正式决定,寻求加入Apache基金会,希望能使项目成为更为开放、全球化和强大的APM开源产品,并加强来自社区的合作和交流。最终实现构建一款功能强大、简单易用的开源APM产品。 2017年12月8日,Apache软件基金会孵化器项目管理委员会 ASF IPMC宣布“SkyWalking全票通过,进入Apache孵化器”。 架构图 官方版:https://github.com/apache/incubator-skywalking .Net core Agent + Skywalking 架构图 什么是APM APM = Application Performance Management,即应用性能管理,主要是针对企业级应用软件市场,对企业系统实施即时监控,以实现对应用程序性能管理和故障管理...
- 下一篇
精英云集,看国内外12家顶级公司大数据实践
2016年12月8日-10日,BDTC 2016 中国大数据技术大会将在北京新云南皇冠假日酒店隆重举办。本届BDTC 2016为期三天,聚焦行业最佳实践,数据与应用的深度融合,关注热门技术在行业中的实践和应用,除Keynote外,主办方精心策划了16场专题技术和行业论坛,涵盖了大数据分析与生态系统、大数据云服务、HPC大数据、推荐系统、数据安全与隐私保护、人工智能、网络与通讯、政策法规与标准化、工业与制造业、数据库、金融、精准医疗和生物医药大数据、数据开放与政府治理高层沙龙、交通旅游与出行等主题。 目前,大会的全部议程已经出炉,超过130位技术专家将为现场千名以上的大数据行业精英、技术专家及意见领袖带来100多场技术演讲,分享最新技术与实践的洞察与经验,共商大数据时代发展之计。 在备受关注的“大数据分析与生态系统论坛”,无论是讲师阵容还是议题质量都堪称顶级,其学术价值极高,对于从事大数据领域的研究者来说具有极高的学习价值和参考价值。具体议题和介绍如下: 李昆:华为技术有限公司大数据设计部部长 讲师简介: 2004年加入华为,长期从事电信协议、管道智能化、数据可视化、用户行为分析等系统研...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS关闭SELinux安全模块
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7设置SWAP分区,小内存服务器的救世主