Hadoop概念学习系列之谈hadoop/spark里为什么都有，YARN呢？（四十一）-低调大师

Hadoop概念学习系列之谈hadoop/spark里为什么都有，YARN呢？（四十一）

2017-11-11 481

　在Hadoop集群里，有三种模式:

　　1、本地模式

　　2、伪分布模式

　　3、全分布模式

　　在Spark集群里，有四种模式：

1、local单机模式
结果xshell可见：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100
这里写local，就是local[1]

2、standalone集群模式
需要的配置项
1, slaves文件
spark002
spark003
2, spark-env.sh
export JAVA_HOME=/usr/soft/jdk1.7.0_71
export SPARK_MASTER_IP=spark001
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=1g

3、standalone集群模式
　　之client模式：
结果xshell可见：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark001:7077 --executor-memory 1G --total-executor-cores 1 ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100

3、standalone集群模式
之cluster模式：
结果spark001:8080里面可见！
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark001:7077 --deploy-mode cluster --supervise --executor-memory 1G --total-executor-cores 1 ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100
--supervise是进程监控

4、Yarn集群模式
需要的配置项
1, spark-env.sh
export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
export YARN_CONF_DIR=$HADOOP_INSTALL/etc/hadoop
export SPARK_HOME=/usr/hadoopsoft/spark-1.3.1-bin-hadoop2.4
export SPARK_JAR=/usr/hadoopsoft/spark-1.3.1-bin-hadoop2.4/lib/spark-assembly-1.3.1-hadoop2.4.0.jar
export PATH=$SPARK_HOME/bin:$PATH
2, ~/.bash_profile
配置好hadoop环境变量

4、Yarn集群模式
client模式：
结果xshell可见：
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 1G --num-executors 1 ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100

4、Yarn集群模式
cluster模式：
结果spark001:8088里面可见！
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 1G --num-executors 1 ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100

　　hadoop/spark里为什么都有，YARN呢？

　　答：普通OS（操作系统）的功能主要是为处理器管理、存储器管理、设备管理、文件管理、作业管理和用户接口。

在集群环境下，HDFS已经负责了文件管理，而设备概念较弱，故YARN主要负责统一管理集群内服务器的计算资源（主要包括CPU和内存资源）、作业调度和用户接口。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6092539.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370695

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop Hive概念学习系列之hive三种方式区别和搭建、HiveServer2环境搭建、HWI环境搭建和beeline环境搭建（五）

说在前面的话以下三种情况，最好是在3台集群里做，比如，master、slave1、slave2的master和slave1都安装了hive，将master作为服务端，将slave1作为服务端。　以下，是针对CentOS版本的，若是Ubuntu版本，见我的博客 Ubuntu系统下安装并配置hive-2.1.0 hive三种方式区别和搭建 Hive中metastore（元数据存储）的三种方式：　a) 内嵌Derby方式b) Local方式c) Remote方式 1.本地derby 这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;da...

2017-11-12

525

　能看懂博主我此博文，相信你已经有了一定基础了。对于本地模式、伪分布模式和全分布模式的概念，这里，我不多赘述。太多资料和博客，随便在网上一搜就好。比如《hadoop实战第二版》陆嘉恒老师等。我这里呢，是再次挖掘深入。我们知道，如伪分布模式或全分布式模式，里有着很多的java进程（这个，可用jps查看）。有过动手试验的都知道，这两种模式，速度明显比本地模式要快，为什么呢? 答：原因在于，本地独立模式将每个单独任务执行的信息都打印在屏幕上，而在伪分布模式和全分布式模式下，这些信息只被写入在运行主机的日志文件中。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6092384.html，如需转载请自行联系原作者

2017-11-12

559

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。