您现在的位置是：首页 > 文章详情

EMR Spark Relational Cache如何支持雪花模型中的关联匹配

日期：2019-06-27点击：440收藏

Relational Cache相关文章链接：

使用Relational Cache加速EMR Spark数据分析
 使用EMR Spark Relational Cache跨集群同步数据
 EMR Spark Relational Cache的执行计划重写

背景

Join是Spark SQL中非常常见的操作，数据表按照业务语义的范式化表定义，便于用户理解与使用，而且可以消除冗余数据。用户通过join操作将相关的数据关联后进行进一步的过滤，聚合等操作。在Spark中，Join通常是代价比较大，尤其是当join的两个表的数据都比较大，无法优化为map join时，需要通过网络shuffle两个表的数据，对数据按照jion字段进行重新组织。Relational Cache是EMR Spark支持的重要特性，类似于数据仓库的物化视图，将反范式化表（即

原文链接：https://yq.aliyun.com/articles/706758

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。