《Spark Cookbook 中文版》一1.6 在集群上使用Mesos部署Spark
本节书摘来异步社区《Spark Cookbook 中文版》一书中的第1章，第1.6节，作者： 【印度】Rishi Yadav（亚达夫）译者： 顾星竹 , 刘见康 责编： 胡俊英，更多章节内容可以访问云栖社区“异步社区”公众号查看。
1.6 在集群上使用Mesos部署Spark
Mesos正慢慢崛起为跨数据中心管理所有计算资源的数据中心管理系统。Mesos可以运行在任意一台Linux操作系统的机器上。Mesos与Linux内核有着相同的配置原则。让我们看看如何安装Mesos。
具体步骤
Mesosphere提供Mesos的二进制安装包。最新的Mesos分布式安装包可以通过Mesosphere库按照如下步骤安装。
1．在Ubuntu操作系统的可靠版本上执行Mesos。
$ sudo apt-key adv --keyserver keyserver.ubuntu.com –recv
E56151BF DISTRO=$(lsb_release -is | tr '[:upper:]' '[:lower:]')
CODENAME=$(lsb_release -cs)
$ sudo vi /etc/apt/sources.list.d/mesosphere.list
deb http://repos.mesosphere.io/Ubuntu trusty main
2．更新库。
$ sudo apt-get -y update
3．安装Mesos。
$ sudo apt-get -y install mesos4．连接Spark到Mesos上以整合Spark和Mesos，配置Spark二进制安装包以适应Mesos，并配置Spark驱动以连接Mesos。
5．把第一份教程中使用到的Spark二进制安装包上传到HDFS。
$ hdfs dfs -put spark-1.4.0-bin-hadoop2.4.tgz spark-1.4.0-bin-
hadoop2.4.tgz
6．Mesos单主节点的主URL是mesos://host:5050，如果使用ZooKeeper管理Mesos集群的话，URL是mesos://zk://host:2181。
7．配置spark-env.sh中的如下变量。
$ sudo vi spark-env.sh
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so
export SPARK_EXECUTOR_URI= hdfs://localhost:9000/user/hduser/
spark-1.4.0-bin-hadoop2.4.tgz
8．通过Scala运行。
val conf = new SparkConf().setMaster("mesos://host:5050")
val sparkContext = new SparkContext(conf)
9．通过Spark运行。
$ spark-shell --master mesos://host:5050
提示
Mesos有两种模式。
- Fine-grained：在fine-grained模式（默认模式）下，每个Spark任务以独立的Mesos任务运行。
- Coarse-grained：在此模式下，仅会在每个Mesos机器上发起一个长时间运行的Spark任务。
10．如果想要修改模式为coarse-grained，配置spark.mesos.coarse。
conf.set("spark.mesos.coarse","true")
