首页 文章 精选 留言 我的

精选列表

搜索[裸金属云服务器],共10000篇文章
优秀的个人博客,低调大师

阿里云流计算中维表join VS 流join

最近业务上使用blink进行清洗数据,使用到了双流join和维表join,今天有同学问我流join和维表join有什么区别。在此我做个简单的说明,描述不对的地方,欢迎大家纠正,后面补充。 流式计算过程中常见的需求是为数据流去补充字段。我们需要补充字段通常会在另一个流中,或者在一个动态表中(一张不断变化的表,静态表可以理解为它的特例)。在另一个流中,这个比较适合于使用流join,例于补齐包裹表中的包裹明细信息。在一个静态表中,使用维表join要更好些,例如包裹明细关联商品明细表去得到商品体积和重量。 流join 流join比较简单,它是两个流之间的join,和传统批上join一样,都是两张表之间的join(table a join table b on a.x=b.x)。具体如何流join语法,这里不做细说,可以查看官方文档。这里主要从下面几个问题进行说明。 1、我们在对A 和 B 进行join时,经常会有这样的疑惑。如果A中的数据先到达,B中的数据后到达,会不会形成堵塞,不会的话又是怎样操作的?这个是不会的,在对A进行JOIN B时,如果B中的数据没有达到,会先把A中的数据保存到checkpoint中去,等待B到达时再进行join。这里需要注意下的是,采用A LEFT JOIN B的话,虽然B没有达到,但是他还是会把结果传递到下一个节点。 2、流中的撤回是如何实现的?是不是所有场景都可以撤回(retraction)可以理解成传统意义上的更新操作。可以看下面的例子 没有撤回会导致结果不正确。在数据源入口处增加last_value操作就可以实现撤回。 create view table_count as SELECT word, count(num) AS cnt FROM table by word create view table_lastValue as SELECT word, last_value(cnt) as cnt FROM table_count GROUP BY word; 把上面图片中的SQL改成这样就行了。 SELECT cnt, count(word) as freq FROM table_lastValue GROUP BY cnt 注意: 如果采用的是metaq,并且已经消费了消息,这种情况下是没办法进行撤回的。 维表join 由于维表是一个不断变化的表,如果用传统的join是肯定不行的,因为我们不知道是join的哪一时刻。所以维表join在使用时要指定下的它的join时刻。详细的语法可以查看下官方文档。这里主要阐述下几个注意事项。 1、使用 JOIN 当前维表功能需要注意的是,JOIN行为只发生在处理的时刻(processing time),即使维表中的数据都被删了或者修改,之前JOIN流已经发出的关联上的数据也不会被撤回或改变。2、维表JOIN的ON条件中一定要包括维表primary key的等值条件,因为需要根据key去查维表3、在使用维表join时,如果数据量超过百万时,要使用LRU进行缓存,不要使用ALL。 此文章转载于智谨的原创!

优秀的个人博客,低调大师

基于阿里云打造时序数据库硬件API

和API的第一次亲密接触,应该是在2000年左右的时候。那会还在上大二,刚开始编程不久,当时还是用VB在写程序,想要在打开文件的对话框里增加一个预览功能,费了九牛二虎之力,写了很多代码,效果总是不如人意,后来一次偶然机会,发现通过系统的API很简单几句代码就解决问题了,于是一下子就喜欢上了API。 那会互联网还不发达,一起写程序的小伙伴们把《电脑报》、《计算机世界》里关于API的文章还拿小本本记录下来,每年的合订本那更是都要买的,重点看的都是其中关于API的介绍。后来,我们在做桌面GIS系统的时候,用VB程序实现了可以媲美Photoshop软件的功能效果,其中很多实现全靠灵活应用各种API。 困扰整个智慧医疗行业的难题 2014年开始,随着互联网医疗与智能硬件的风潮,我们开始打造自己的智能医疗器械产品,随着研发的逐步深入和产品的推广,当

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册