IDEA构建Spark编程环境和用Scala实现PageRank算法
写在前边的话 以前在学习编写mapreduce时,由于没有shell,就是首先在eclipse里配置环境,利用eclipse的强大功能进行编写,调试,编译,最终打包到集群上运行,同样面对Spark的时候,虽然spark提供了强大的shell 脚本能力,但对于定期或者处理时间很长的程序来说并不适合使用shell,所以这里我选用了强大IDEA 作为spark的开发环境 环境说明(点击下载):Java1.8.1_101 / Scala 2.11.8 / Intellij DEA 2.16.2 / Spark 1.6.2 10分钟 帮你打开Scala的编程大门:点击阅读 注意事项(我掉过的坑):本地Scala编程时,注意环境与集群的一致性,由于我的集群是spark1.6.2,scala2.10.x,java1.7.x,而本地环境java和scala都比集群高了一个版本,所以本地打包在集群上运行时就会出现版本不匹配的错误(如果用到java时,也是一样的),这一点大家要十分注意 一:IDEA构建Spark编程环境 部署参考文章:使用IntelliJ IDEA编写...