Schedulerx2.0支持MapReduce模型

2019-06-27 708

1. 前言

Schedulerx2.0提供了map模型，通过一个map方法就能将海量数据分布式到多台机器上分布式执行，随着业务方的深入使用，又提出了更多的需求，比如：

监听所有子任务完成的事件
处理所有子任务返回的订单号
汇总结果进行工作流数据传输

2. 简介

MapReduce模型是Map模型的扩展，废弃了postProcess方法，新增reduce接口，需要实现MapReduceJobProcessor。

MapReduce模型只有一个reduce，所有子任务完成后会执行reduce方法，可以在reduce方法中返回该任务实例的执行结果，作为工作流的上下游数据传递。如果有子任务失败，reduce不会执行。

MapReduce模型，还能处理所有子任务的结果。子任务通过return ProcessResult(true, result)返回结果（

微信关注我们

原文链接：https://yq.aliyun.com/articles/706820

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flink Broadcast State实用指南

从1.5.0开始，Flink提供了一种新的State类型，称为Broadcast State。在这篇文章中，我们将解释什么是Broadcast State，并展示如何将其应用于评估事件流上的动态模式的应用的示例。我们将向您介绍处理步骤和源代码，以实现此应用。什么是Broadcast State？ Broadcast State可用于以特定方式组合和联合处理两个事件流。第一个流的事件被广播到一个算子的所有并行实例，该算子将它们保存为状态。另一个流的事件不广播，而是发送给同一个算子的单个实例，并与广播流的事件一起处理。对于需要连接低吞吐量和高吞吐量流或需要动态更新处理逻辑的应用来说，新的broadcast state非常适合。我们将使用一个具体示例来解释broadcast state，并在本文的其余部分更详细地展示其API。 Broadcast State下的动态模式评估想象一下，一个电子商务网站捕获所有用户的交互作为用户行为流。运营网站的公司有兴趣分析交互，以增加收入，改善用户体验，并检测和防止恶意行为。该网站实现了一个流应用，该应用检测用户事件流上的模式。但是，公司希望避免每次模式...

2019-06-28

637

0x1 摘要 WindowOperator可以说是Flink窗口功能非常核心核心的类，是窗口功能源码的一条主线，延着这条主线去慢慢看源码会轻松很多。注：此文基于Flink 1.4.2 版本源码。 0x2 WindowOperator 类结构分析先来看一下类结构图，可以使用idea来生成类图，下图经过稍微加工，去掉一些不重要类的结构图：我们核心重点关注以下一个接口： OneInputStreamOperator public interface OneInputStreamOperator<IN, OUT> extends StreamOperator<OUT> { /** * Processes one element that arrived at this operator. * This method is guaranteed to not be called concurrently with other methods of the operator. */ void processElement(StreamRecord<IN> el...

2019-06-29

761

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Schedulerx2.0支持MapReduce模型

1. 前言

2. 简介

Flink Broadcast State实用指南

Flink WindowOperator 源码分析

相关文章

发表评论

资源下载

Mario

腾讯云软件源

Nacos

Spring

欢迎您来访！