Spark高级-广播变量-低调大师

Spark高级-广播变量

2018-02-25 573

新的一年，先祝大家狗年旺旺旺。

广播变量

广播变量可以让程序高效地向所有工作节点发送一个较大的只读值，以供一个或多个Spark操作使用。

需求来源

我们都知道Spark分布式程序代码需要传递到Executor的各个task上运行，对于一些只读的数据，各个task需要

从driver端获取数据，这样效率低下，广播变量允许我们将数据提前广播到Exeutor上，task直接到所在的Executor

上获取数据，从而提高效率。

举个例子：只读Map数据10M，有50个executor，1000个task。

默认情况下1000个task有1000个副本，需要10*1000 不到10G的数据传输，集群中，消耗10G内存。

使用广播变量，广播到executor上，50个executor，需要10*50 500M的数据传输，大大减少的内存的消耗。

代码示例

1.调用SparkContext.broadcast方法创建一个Broadcast[T]对象。任何序列化的类型都可以这么实现。
2.通过value属性访问改对象的值(Java之中为value()方法)
3.变量只会被发送到各个节点一次，应作为只读值处理（修改这个值不会影响到别的节点）

假设有一批用户访问日志，包含ID和访问IP，要求将用户IP转为省份，使用一个ip库来匹配转换，ip是一个内存map，

使用广播变量前

// logRDD contains (userId -> ip), type is [Int, String]
// ips is memory hashmap, contains (ip -> provoince)

val ips=...  //内存Map，约100M
val rddResult=logRDD.Map{ p=>
val ip=p._2
val province=ips.getOrElse(ip,null)
(p._1,province)
}

使用广播变量

val ips = … // ips是一个内存map，约100M
val bIPs= sc.broadcast(ips)
val resultRDD = logRDD.map { p =>
val ip = p._2
val provoince = bIPs.value.getOrElse(ip, null)
(p._1, provoince)
}

上述所写如有不对之处，还请各位前辈指出赐教。--五维空间

微信关注我们

原文链接：https://yq.aliyun.com/articles/495612

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

大数据||HDFS HA配置详解

根据HA架构图，规划HA的分布式集群服务器 HA集群规划配置参考图根据官方文档配置HA 部分说明 Architecture 在典型的ha集群中，两台独立的机器被配置为namenode。在任何时间点，一个namenodes处于活动状态，另一个处于备用状态。活动NameNode负责集群中的所有客户端操作，而备用服务器只是充当从服务器，保持足够的状态，以便在必要时提供快速故障转移。备用节点与活动节点保持状态同步，两个节点都与一组称为“日志节点”(Jns)的独立守护进程通信。当任何名称空间修改由活动节点执行时，它会将修改的记录持久地记录到这些jn中的大多数。备用节点能够从JNS读取编辑，并不断监视它们对e的更改。 Hardware resources 要部署HA集群，您应该准备以下内容：NameNode计算机—运行主动和备用Namenodes的计算机应具有彼此等效的硬件，以及与非HA群集使用的硬件相当的硬件。日志节点计算机-运行日志节点的计算机。日志节点守护程序相对较轻，因此这些守护程序可以合理地配置在具有其他Hadoop后台进程的计算机上，例如NameNODES、JobTracker或纱...

2018-02-24

605

查看目录 bin/hadfs dfs -ls / 报错：报错错误原因：是因为client在访问代理的时候出错了。找不到ns1。解决办法：修改hdfs-site.xml中的proxy的name标签mycluster修改为ns1 修改后的结果修改后测试结果 ls结果创建目录 bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/temp 上传文件命令：bin/hdfs dfs -put etc/hadoop/core-site.xml /user/beifeng/mapreduce/temp 读取 bin/hdfs dfs -text /mapreduce/temp/core-site.xml/mapreduce/temp/core-site.xml 读取结果手动切换namenode的active切换测试把nn1置为：standby 。bin/hdfs haadmin -transitionToStandby nn1 把nn2置为：Active。bin/hdfs haadmin -transitionToActive nn2 acti...

2018-02-26

660

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。