Spark RDD概念学习系列之RDD的创建（六）-低调大师

Spark RDD概念学习系列之RDD的创建（六）

2017-11-01 589

RDD的创建

　两种方式来创建RDD：

1）由一个已经存在的Scala集合创建

2）由外部存储系统的数据集创建，包括本地文件系统，还有所有Hadoop支持的数据集，比如HDFS、Cassandra、HBase、Amazon S3等。

RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。这些确定性操作称为转换，如map、filter、groupBy、join。

　　第1个RDD:代表了spark应用程序输入数据的来源，通过Transformation来对RDD进行各种算子的转换和实现算法。

　　初始RDD（或第1个RDD）创建的几个方式：（有300多种）

　　　　1、使用程序中的集合创建RDD; 意义是：测试

　　　　2、使用本地文件系统创建RDD; 意义是：测试大量数据的文件

　　　　3、使用HDFS创建RDD; 意义是：生产环境里最常用

　　　　4、基于DB创建RDD;

　　　　5、基于NoSQL，例如HBase

　　　　6、基于S3创建RDD;

　　　　7、基于数据流创建RDD;

　　以上是典型的7种，我们这里重点讲解前3种方式。

SparkContext.scala里， SparkContext.createTaskScheduler，进入该方法

我们进一步，来学习

原来如此，所以是32。

以上是并行度，默认为1。

会利用最大，即32 = 8 X 4台worker

现在，我们来采取并行度为10，来玩玩。

问：实际上spark的并行度到底应该设置为多少呢？

答：最佳是，2-4 partitions for each CPU core。

如我们这里的CPU core是32个。每个worker给的是8个。共4台机器。

32 X 2 =64 32 X 4 = 128 即64~128之间。

说明的是，跟数据规模没关系，只跟每个task在计算partitions时的CPU使用时间和内存使用情况有关。

oom是内存溢出。

RDDBaseedOnLocalFile.scala

假如，计算每行的长度总和

好的，关于此处的源码解读，自行去深究。不多赘述。

以上是在local模式下，下面开始

集群模式

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5723747.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/371282

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark RDD概念学习系列之RDD的转换（十）

RDD的转换 Spark会根据用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系，同时这个计算链也就生成了逻辑上的DAG。接下来以“Word Count”为例，详细描述这个DAG生成的实现过程。 Spark Scala版本的Word Count程序如下： 1 2 3 4 5 1 ： val file = spark.textFile( "hdfs://..." ) 2 ： val counts = file.flatMap(line => line.split( " " )) 3 ： .map(word => (word, 1 )...

2017-11-02

634

Spark的一站式解决方案，非常之具有吸引力，毕竟啊，任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。当然，Spark并没有以牺牲性能为代价。相反，在性能方面，Spark具有很大的优势。 Spark凭借以下的优点在众多的大数据分析处理平台中脱引而出 1、速度快。与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上；而基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。　 2、易用。Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使得用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell，这意味着可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法，而不是像以前一样，需要打包、上传集群、验证等。这对于原型开发非常需要。 3、通用性。Spark提供了统一的解决方案，Spark可以用于批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark Str...

2017-11-02

581

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。