Apache Flink 漫谈系列(09) - JOIN 算子

2018-11-22 803

聊什么

在《Apache Flink 漫谈系列 - SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式，介绍过程中大家发现Apache Flink在语法语义上是遵循ANSI-SQL标准的，那么再深思一下传统数据库为啥需要有JOIN算子呢？在实现原理上面Apache Flink内部实现和传统数据库有什么区别呢？本篇将详尽的为大家介绍传统数据库为什么需要JOIN算子，以及JOIN算子在Apache Flink中的底层实现原理和在实际使用中的优化！

什么是JOIN

在《Apache Flink 漫谈系列 - SQL概览》中我对JOIN算子有过简单的介绍，这里我们以具体实例的方式让大家对JOIN算子加深印象。JOIN的本质是分别从N(N>=1)张表中获取不同的字段，进而得到最完整的记录行。比如我们有一个查询需求：在学生表(学号，姓

微信关注我们

原文链接：https://yq.aliyun.com/articles/672760

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云Elasticsearch离线平台化建设

阿里云Elasticsearch提供低成本、灵活的分析和搜索服务，很大程度降低了用户的使用成本和运维成本。美中不足的是缺乏数据场景的支持，用户还是需要花很大的精力去解决数据场景的痛点问题，比如海量数据源如何对接复杂的数据计算和处理逻辑全量数据导入影响在线查询海量数据导入越来越慢全量/实时数据无损切换为了帮助用户解决这些痛点问题，阿里云Elasticsearch离线平台应运而生。 Elasticsearch离线平台化的演进值得一提的是，在调研完用户痛点后, 我们启动了ElasticBuild。它是基于Blink的离线索引构建，对标Ha3的BuildService系统，我们仍在不断地优化性能，最终实现真正的在离线分离。与此同时，我们还和搜索离线组件平台团队展开了深度合作，共同打造离线产品化。 Elasticsearch离线平台系统架构

2018-11-22

683

例如下面这条SQL，肯定是用上了combiner功能的 select deptno, sum(sal) as sum_sal from emp group by deptno hive (test)> explain select deptno, sum(sal) as sum_sal from emp group by deptno; OK Explain STAGE DEPENDENCIES: Stage-1 is a root stage Stage-0 depends on stages: Stage-1 STAGE PLANS: Stage: Stage-1 Map Reduce Map Operator Tree: TableScan alias: emp Statistics: Num rows: 5 Data size: 603 Basic stats: COMPLETE Column stats: NONE Select Operator expressions: deptno (type: int), sal (type: decimal(22,2)) ou...

2018-11-22

865

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

Apache Flink 漫谈系列(09) - JOIN 算子

聊什么

什么是JOIN

阿里云Elasticsearch离线平台化建设

请问：hive中avg聚合函数会使用到combiner功能吗？

相关文章

发表评论

资源下载

Mario

Spring

Sublime Text

WebStorm

欢迎您来访！