Spark 0.9.1和Shark 0.9.1分布式安装指南

2014-05-11 638

Spark 0.9.1和Shark 0.9.1分布式安装指南.pdf

1. 约定

本文约定Hadoop 2.4.0安装在/data/hadoop/current，而Spark 0.9.1被安装在/data/hadoop/spark，其中/data/hadoop/spark为指向/data/hadoop/spark。

Spark官网为：http://spark.apache.org/，Shark官网为：http://shark.cs.berkeley.edu/。

2. 安装Scala

联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。

Scala是一种多范式的编程语言，设计初衷是要集成纯面向对象编程和函数式编程的各种特性。运行在Java虚拟机JVM之上，兼容现有的Java程序，并可调用Java类库。Scala包含编译器和类库，以BSD许可证发布。

2.1. 下载

Spark使用Scala开发的，在安装Spark之前，先在各个节上将Scala安装好。Scala的官网为：http://www.scala-lang.org/，下载网址为：http://www.scala-lang.org/download/，本文下载的是二进制安装包scala-2.11.0.tgz。

2.2. 安装

本文以root用户（实则也可以非root用户，建议事先规划好）将Scala安装在/data/scala，其中/data/scala是指向/data/scala-2.11.0的软链接。

安装方法非常简单，将scala-2.11.0.tgz上传到/data目录，然后在/data/目录下对scala-2.11.0.tgz进行解压。

接着，建立软链接：ln -s /data/scala-2.11.0 /data/scala。

2.3. 设置环境变量

Scala被安装完成后，需要将它添加到PATH环境变量中，可以直接修改/etc/profile文件，加入以下内容即可：

export SCALA_HOME=/data/scala

export PATH=$SCALA_HOME/bin:$PATH

3. 安装Spark

Spark的安装以非root用户进行，本文以hadoop用户安装它。

3.1. 部署

本文的部署如下表格所示，主Master部署在172.25.39.166节点上：

主Master

备Master

Slaves

172.25.39.166

172.25.40.171

10.12.154.77

10.12.154.78

10.12.154.79

10.12.154.80

要求每个Slaves上都安装有Hive，否则会报“readObject can't find class org.apache.hadoop.hive.conf.HiveConf”错误。

3.2. 下载

本文下载的二进制安装包，推荐这种方式，否则编译还得折腾。下载网址为：http://spark.apache.org/downloads.html，本文下载的是spark-0.9.1-bin-hadoop2.tgz，这个可以直接跑在YARN上。

3.3. 安装

1) 将spark-0.9.1-bin-hadoop2.tgz上传到目录/data/hadoop下

2) 解压：tar xzf spark-0.9.1-bin-hadoop2.tgz

3) 建立软链接：ln -s spark-0.9.1-bin-hadoop2 spark

3.4. 配置

3.4.1. 修改conf/spark-env.sh

可以spark-env.sh.template复制一份，然后增加以下内容：

export SCALA_HOME=/data/scala

export JAVA_HOME=/data/jdk

export SPARK_MASTER_IP=172.25.39.166

3.4.2. 修改conf/slaves

这个和配置HDFS的slaves类似，一行一个slave的IP：

10.12.154.77

10.12.154.78

10.12.154.79

10.12.154.80

4. 启动Spark

进入到Spark的sbin目录，执行start-all.sh即可将Spark运行起来。使用浏览器打开“http://172.25.39.166:8080/”，即可看到Spark运行状况。“8080”是Spark的http端口。

如果要以Server方式运行Spark，可以这样：

$./bin/shark --service sharkserver

客户端可以这样去连接它：

$./bin/shark -h -p

5. 安装Shark

使用Shark，需要先安装好Hive，并且得在所有Spark slaves机上都安装Hive，同时也得在所有Spark slaves机上安装Shark。有关Hive的安装，请参见《Hive 0.12.0安装指南》。

5.1. 下载

Shark官网：http://shark.cs.berkeley.edu/。

下载网址：https://github.com/amplab/shark/releases。

基于Yarn的0.9.1版本下载链接：

https://s3.amazonaws.com/spark-related-packages/shark-0.9.1-bin-hadoop2.tgz。

下载后的二进制安装包名为shark-0.9.1-bin-hadoop2.tgz。

5.2. 安装

本文将shark安装到/data/hadoop/shark，步骤为：

1) 将shark-0.9.1-bin-hadoop2.tgz上传到主Master的/data/hadoop目录

2) 解压：tar xzf shark-0.9.1-bin-hadoop2.tgz

3) 建立链连接：ln -s shark-0.9.1-bin-hadoop2 shark

5.3. 配置

5.3.1. 修改shark-env.sh

从shark-env.sh.template复制生成一份shark-env.sh，然后增加以下内容：

export HADOOP_HOME=/data/hadoop/current

export HIVE_HOME=/data/hadoop/hive

export HIVE_CONF_DIR=$HIVE_HOME/conf

export SPARK_HOME=/data/hadoop/spark

export MASTER=spark://172.25.39.166:7077

6. 启动Shark

进入到Shark的bin目录，执行shark-withinfo（shark-withdebug或shark也可以的），进入Shark命令行操作界面，如果觉得shark-withinfo屏幕显示的信息太多，可以使用shark。另外，Shark像Hive一样，也有个beeline。

7. 执行Shark命令

Shark和Hive是兼容的，可以像Hive一样操作。

请参照：https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster进行：

CREATE TABLE src(key INT, value STRING);

LOAD DATA LOCAL INPATH '${env:HIVE_HOME}/examples/files/kv1.txt' INTO TABLE src;

SELECT COUNT(1) FROM src;

CREATE TABLE src_cached AS SELECT * FROM SRC;

SELECT COUNT(1) FROM src_cached;

8. 常见错误

1) readObject can't find class org.apache.hadoop.hive.conf.HiveConf

运行“select count(1) from src;”时，报如下所示的错误，但show databases和show tables不会报错。建议使用shark-withinfo，以便看到更详细的信息。类org.apache.hadoop.hive.conf.HiveConf在包hive-common-0.12.0.jar中，估计在CLASSPATH中找不到hive-common-0.12.0.jar。

org.apache.spark.SparkException: Job aborted: Task 1.0:1 failed 4 times (most recent failure: Exception failure: java.lang.RuntimeException: readObject can't find class org.apache.hadoop.hive.conf.HiveConf)

at org.apache.spark.scheduler.DAGScheduler$$anonfun$org$apache$spark$scheduler$DAGScheduler$$abortStage$1.apply(DAGScheduler.scala:1028)

at org.apache.spark.scheduler.DAGScheduler$$anonfun$org$apache$spark$scheduler$DAGScheduler$$abortStage$1.apply(DAGScheduler.scala:1026)

at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)

at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)

at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$abortStage(DAGScheduler.scala:1026)

at org.apache.spark.scheduler.DAGScheduler$$anonfun$processEvent$10.apply(DAGScheduler.scala:619)

at scala.Option.foreach(Option.scala:236)

at org.apache.spark.scheduler.DAGScheduler.processEvent(DAGScheduler.scala:619)

at org.apache.spark.scheduler.DAGScheduler$$anonfun$start$1$$anon$2$$anonfun$receive$1.applyOrElse(DAGScheduler.scala:207)

at akka.actor.ActorCell.receiveMessage(ActorCell.scala:498)

at akka.actor.ActorCell.invoke(ActorCell.scala:456)

at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:237)

at akka.dispatch.Mailbox.run(Mailbox.scala:219)

at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:386)

at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)

at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)

at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)

at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)

FAILED: Execution Error, return code -101 from shark.execution.SparkTask

当使用shark-withinfo替代shark运行后，多了些信息：在DEVNET-154-77机器上找不到“org.apache.hadoop.hive.conf.HiveConf”，那么也就是需要在DEVNET-154-77机器上有hive-common-0.12.0.jar文件存在，并且可以找到它。

14/04/24 05:09:00 WARN scheduler.TaskSetManager: Lost TID 1 (task 1.0:1)

14/04/24 05:09:00 INFO scheduler.TaskSetManager: Loss was due to java.lang.RuntimeException: readObject can't find class org.apache.hadoop.hive.conf.HiveConf [duplicate 1]

14/04/24 05:09:00 INFO scheduler.TaskSetManager: Starting task 1.0:1 as TID 3 on executor 2: DEVNET-154-77 (PROCESS_LOCAL)

14/04/24 05:09:00 INFO scheduler.TaskSetManager: Serialized task 1.0:1 as 4597 bytes in 0 ms

网上找了很多办法，都不太好，最后摸索，在Spark的环境变量文件spark-env.sh中增加对环境变量CLASSPATH的设置，结果问题解决了（在此之前，试过在/etc/profile增加，没生效），另外保证每个Spark slaves上都有安装Shark，并且安装目录保持一致：

export CLASSPATH=$CLASSPATH:/data/hadoop/hive/lib

修改后，注意需要重启Spark，再运行Shark。

9. 相关文档

《HBase-0.98.0分布式安装指南》

《Hive 0.12.0安装指南》

《ZooKeeper-3.4.6分布式安装指南》

《Hadoop 2.3.0源码反向工程》

《在Linux上编译Hadoop-2.4.0》

《Accumulo-1.5.1安装指南》

《Drill 1.0.0安装指南》

《Shark 0.9.1安装指南》

更多，敬请关注技术博客：http://aquester.cublog.cn。

微信关注我们

原文链接：https://yq.aliyun.com/articles/497423

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

loadFileSystems error & ExceptionUtils错误原因分析

loadFileSystems error & ExceptionUtils错误原因分析.pdf C/C++程序通过hdfs.h访问HDFS，运行时遇到如下错误，会是什么原因了？（注：hadoop安装在/data/hadoop/hadoop-2.4.0，而/data/hadoop/current是指向它的软链接）： loadFileSystemserror: (unabletogetstacktraceforjava.lang.NoClassDefFoundErrorexception:ExceptionUtils::getStackTraceerror.) hdfsBuilderConnect(forceNewInstance=0,nn=172.25.40.171,port=9001,kerbTicketCachePath=(NULL),userName=(NULL))error: (unabletogetstacktraceforjava.lang.NoClassDefFoundErrorexception:ExceptionUtils::getStackTraceerr...

2014-05-07

824

为什么监控和日志很重要？监控（Monitoring）和日志（Logging）是大型分布式系统中最关键的基础设施（infrastructure）之一，因为没有监控，就没办法知晓服务的运行情况，就没办法知道集群中有没有Down机，机器的CPU使用率、负载是否正常，网站的Traffic是否正常，服务的出错率是不是在可容忍范围之内。简而言之，监控使得我们可以实时的了解网站的运营情况和可用性（Availability）情况。监控通常是从整体上了解网站的情况，需要具备实时性。而日志则是详尽的记录着系统运行情况，每一次service的调用，每一次数据库的访问，都应该写进日志，特别是当系统出现问题时，我们希望日志系统能为我们提供完整的错误堆栈（Exception Stack）和尽可能完备的上下文（Context），为系统维护提供支持。日志可以

2014-05-14

747

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。