基于Spark的机器学习实践 (三) - 实战环境搭建
0 相关源码
1 Spark环境安装
◆ Spark 由scala语言编写,提供多种语言接口,需要JVM
◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译
◆ Spark安装不难,配置需要注意,并且不一定需要Hadoop环境
- 解压
tar zxvf spark-2.4.1-bin-hadoop2.7.tgz
2 Spark配置
◆ 在配置前尽量先阅读官方文档,避免直接从网上找配置教程
◆ 要为节点设 置好使用的内存,否则可能导致节点利用率低;
◆ 注意spark中IP与端口号的配置,以免UnknownHostException
[官网配置]()
单机环境配置
- 本地IP
shell进行验证
bin/spark-shell
3 Spark shell
◆ Spark shell是一个bash脚本,在










