Spark Standalone与Spark on YARN的几种提交方式-低调大师

Spark Standalone与Spark on YARN的几种提交方式

2017-11-19 565

Spark Standalone的几种提交方式

别忘了先启动spark集群！！！

spark-shell用于调试，spark-submit用于生产。

1.spark-shell client

[spark@master spark-1.6.1-bin-hadoop2.6]$ bin/spark-shell --master spark://master:7077 --deploy-mode client --total-executor-cores 4 --executor-cores 1 --executor-memory 1g

2.spark-submit client/cluster

[spark@master spark-1.6.1-bin-hadoop2.6]$

bin/spark-submit --master spark://drguo1:7077 --deploy-mode client --name "test" --class org.apache.spark.examples.SparkPi /opt/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar 10  16/04/26 19:48:21 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Pi is roughly 3.141968

[spark@master spark-1.6.1-bin-hadoop2.6]$

bin/spark-submit --master spark://drguo1:7077 --deploy-mode cluster --name "test" --class org.apache.spark.examples.SparkPi /opt/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar 10

Spark on YARN的几种提交方式

官方文档：http://spark.apache.org/docs/latest/running-on-yarn.html

在spark-env.sh里加入HADOOP_CONF_DIR=/opt/Hadoop/hadoop-2.7.2/etc/hadoop就可以了，设置之后，再读文件时默认在hdfs的/user/guo/下读该文件。

别忘了先启动yarn和hdfs！！！

1.spark-shell client

 
  [spark@master spark-1.6.1-bin-hadoop2.6]$ 
  ./bin/spark-shell --master yarn-client 
 
  [spark@master spark-1.6.1-bin-hadoop2.6]$ ./bin/spark-shell --master yarn --deploy-mode client

或者设置下内存数和cpu数，不设就会用默认的

[spark@master spark-1.6.1-bin-hadoop2.6]$ spark-shell --master yarn-client --executor-memory 2g --executor-cores 2

2.spark-submit cluster

[spark@master spark-1.6.1-bin-hadoop2.6]$

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --num-executors 3 --driver-memory 1g --executor-memory 1g --executor-cores 1 --queue thequeue lib/spark-examples-1.6.1-hadoop2.6.0.jar 10

 ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    lib/spark-examples*.jar \
    10

微信关注我们

原文链接：https://yq.aliyun.com/articles/368462

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

1 weekend110的hdfs源码跟踪之打开输入流 + hdfs源码跟踪之打开输入流总结

3种形式的元数据，fsimage是在磁盘上，meta.data是在内存上，我们继续，前面呢，断点是打在这一行代码处， FileSystem fs = FileSystem.get(conf); weekend110的hdfs下载数据源码跟踪铺垫 + hdfs下载数据源码分析-getFileSystem 现在，开始weekend110的hdfs源码跟踪之打开输入流 1、清掉之前，所有的断点， dfs是fs的成员，此刻，断点过不去了，为什么？因为，这需要在服务器上运行。由此可见,newInfo里面就是block信息。 LocatedBlocks{ fileLength=143588167 underConstruction=false blocks=[LocatedBlock{BP-168439838-192.168.80.110-1468829197712:blk_1073741856_1032; getBlockSize()=134217728; corrupt=false; offset=0; locs=[192.168.80.110:50010]},Locate...

2017-11-20

547

Hive 的数据表分为两种，内部表和外部表。内部表：这种表可以理解为数据和表结构都保存在一起的数据表。外部表：在表结构创建以前，数据已经保存在 HDFS 中，通过创建表结构，将数据格式化到表的结果里。进一步分析，内部表而言，当通过 DROP TABLE table_name 删除元数据中表结构的同时，表中的数据也同样会从 HDFS 中被删除。外部表而言，当进行 DROP TABLE table_name 操作的时候，Hive 仅仅删除元数据的表结构，而不删除 HDFS 上的文件（即表里的数据），所以，相比内部表，外部表可以更放心大胆地使用。数据表在删除的时候，内部表会连数据一起删除，而外部表只删除表结构，数据还是保留的。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5660245.html，如需转载请自行联系原作者

2017-11-20

499

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。