首页 文章 精选 留言 我的

精选列表

搜索[apache storm],共10000篇文章
优秀的个人博客,低调大师

Apache SeaTunnel 提交一个任务都经过了什么?

![](https://developer.qcloudimg.com/http-save/yehe-11851421/8ee7fc7c5a56e6dcb709b3347d4941df.jpg) 一次 SeaTunnel 任务提交,看起来只是一次 submitJob 请求;但在 Server 内部,它会经过 Master 判断、任务协调、JobMaster 初始化、物理执行计划构建、Pipeline 资源申请、TaskGroup 部署等多个阶段。 这篇文章基于我整理的 submitJob 时序,先聚焦一条主线:任务从提交请求进入 SeaTunnel Server,到最终调用 `TaskExecutionService.deployTask()` 部署 TaskGroup,中间都经过了什么。 本文暂不展开 `TaskExecutionService` 内部的线程模型、Task 运行细节和数据流转,重点放在任务提交与调度部署链路上。 ## 核心角色 在进入流程之前,先看 submitJob 主链路里几个关键对象分别负责什么。 ![](https://developer.qcloudimg.com/http-save/yehe-11851421/ccc044bb8b9c1c78a51f55e802d058cd.jpg) ## 总体流程 先用一张简化流程图看全局链路。 ![](https://developer.qcloudimg.com/http-save/yehe-11851421/d31f571a7196c956f82ec867daa8dd70.jpg) 这条链路可以压缩成一句话: ``` SubmitJobServlet -> JobInfoService -> MasterNode / CoordinatorService -> JobMaster -> PhysicalPlan -> SubPlan -> PhysicalVertex -> TaskExecutionService ``` 下面按阶段拆开看。 ## 第一阶段:请求进入 JobInfoService 任务提交入口首先进入 `SubmitJobServlet`,随后交给 `JobInfoService` 处理。 这里的关键点不是马上启动任务,而是先判断:**当前接收请求的节点是不是 Master**。 ![](https://developer.qcloudimg.com/http-save/yehe-11851421/243a01ce3152a53db5a12e1b9c8ee0ba.jpg) 如果当前节点就是 Master,`JobInfoService` 可以继续本地提交;如果当前节点是 Worker,则需要通过 `MasterNode.submitJob()` 转发给 Master。 这个设计保证了任务提交最终由 Master 统一协调,避免多个节点各自独立创建 Job 调度上下文。 ## 第二阶段:CoordinatorService 接管任务 请求进入 Master 后,会继续调用 `CoordinatorService.submitJob()`。 `CoordinatorService` 在这里主要做两件事: 1. 判断这个 Job 是否已经存在或正在运行。 2. 如果是新任务,则创建并初始化对应的 `JobMaster`。 如果任务已经运行,SeaTunnel 不需要重复创建调度上下文,可以直接返回提交成功。如果是一个新任务,就会进入 `JobMaster` 初始化流程。 也就是说,`submitJob` 到这里已经从“接口请求处理”进入了“调度系统处理”。 ## 第三阶段:JobMaster 初始化 `JobMaster` 可以理解为一个 Job 的运行控制中心。 创建 `JobMaster` 后,会完成一些运行前准备工作,例如: * 构建任务运行所需的 classloader。 * 初始化 checkpoint 相关配置。 * 准备从逻辑 DAG 构建物理执行计划所需的上下文。 这一阶段还没有真正部署 Task,它更像是在为后续调度准备运行环境。 ## 第四阶段:从逻辑 DAG 到 PhysicalPlan JobMaster 初始化后,会基于逻辑 DAG 构建 `PhysicalPlan`。 ![](https://developer.qcloudimg.com/http-save/yehe-11851421/b925df87e59f6b969f9c3a619b8716e4.jpg) 这里有一个重要概念:**SeaTunnel 不是一次性把任务全部启动,而是通过状态机逐步推进**。 在 Job 级别,核心状态推进可以简化理解为: ``` CREATED -> SCHEDULED -> startSubPlanStateProcess ``` `PhysicalPlan` 负责 Job 级别状态流转,而真正的 Pipeline 调度会继续下沉到 `SubPlan`。 ## 第五阶段:SubPlan 申请资源并进入部署 到了 `SubPla`n 这一层,SeaTunnel 关注的粒度已经从整个 Job 下沉到 Pipeline。 `SubPlan.stateProcess()` 会根据当前 Pipeline 状态执行不同逻辑: ![](https://developer.qcloudimg.com/http-save/yehe-11851421/826b903db0ced610690d223a5ecf2256.jpg) 这一层的重点是: * `CREATED` 状态下,Pipeline 会先推进到 `SCHEDULED`。 * `SCHEDULED` 状态下,开始通过 `ResourceUtils.applyResourceForPipeline()` 申请资源。 * 资源申请成功后,Pipeline 进入 `DEPLOYING`。 * 如果资源申请失败,则进入 `makePipelineFailing(e)`。 因此,Pipeline 不是被立即部署的;它必须先具备运行资源。 ## 第六阶段:PhysicalVertex 部署 TaskGroup 当 Pipeline 进入 `DEPLOYING` 后,`SubPlan` 会开始启动内部的 `PhysicalVertex`。 `PhysicalVertex` 会先把 Task 状态更新为 DEPLOYING,然后根据分配到的 slotProfile 执行部署。 部署时有一个关键分支:目标 Worker 是本地还是远端。 ![](https://developer.qcloudimg.com/http-save/yehe-11851421/c3ebcedc110984559e8fc566e7866787.jpg) 如果目标 Worker 是远端节点,则需要通过 `DeployTaskOperation` 把部署请求发送过去,最终仍然会在目标 Worker 上进入 `TaskExecutionService.deployTask(taskGroupInfo)`。 部署成功后,`PhysicalVertex` 会把 Task 状态更新为 RUNNING;如果失败,则进入 `makeTaskGroupFailing()`。 当 Pipeline 内部的 TaskGroup 部署完成并进入运行态后,SubPlan 也会推进到 RUNNING。 ## 失败、取消与恢复分支 除了正常提交和部署,`SubPlan` 状态机里还需要处理失败、取消和恢复。 可以简化成下面这张图: ![](https://developer.qcloudimg.com/http-save/yehe-11851421/480c3ec3b38f5a8137349281d47c3b56.jpg) 这也是为什么前面的状态机设计很重要: * 正常路径可以推进部署和运行。 * 失败路径可以进入 failing / failed。 * 取消路径可以进入 canceling / canceled。 * 如果满足恢复条件,还可以释放资源后重新申请并恢复 Pipeline。 换句话说,状态机不是为了让流程复杂,而是为了让任务生命周期可控。 ## 完整时序图 最后,把主流程用时序图串起来,方便对照整体调用顺序。 ![](https://developer.qcloudimg.com/http-save/yehe-11851421/4b2c9713ebf46180b46581d738af9914.jpg) ## 总结 SeaTunnel 提交任务后的核心逻辑,并不是“收到请求后直接启动任务”。 它大致会经过下面这条主链路: ``` SubmitJobServlet -> JobInfoService -> MasterNode / CoordinatorService -> JobMaster -> PhysicalPlan -> SubPlan -> PhysicalVertex -> TaskExecutionService ``` 其中: * `JobInfoService` 负责处理提交入口,并判断是否需要转发到 Master。 * `CoordinatorService` 负责接管任务协调,避免重复提交,并创建 JobMaster。 * `JobMaster` 负责初始化 Job 运行上下文。 * `PhysicalPlan` 负责 Job 级别状态推进。 * `SubPlan` 负责 Pipeline 级别的资源申请和调度。 * `PhysicalVertex` 负责 TaskGroup 部署。 * T`askExecutionService` 是最终执行 TaskGroup 部署的入口。 理解这条链路之后,再去看 SeaTunnel 的 Task 执行线程模型、数据流转和 checkpoint 机制,就会更容易把各个模块放到正确的位置上。 原文链接:https://nzw921rx.github.io/nzw921rx-blog/posts/seatunnel-submit-job-flow/

优秀的个人博客,低调大师

如何批量杀死 Apache DolphinScheduler 运行中的工作流?

关键词: 大数据、数据调度、工作流、批量停止 整体说明 在调研了 DolphinScheduler 之后,在项目上实际使用了一段时间,遇到了任务过多僵死的问题,解决思路分享如下。 问题背景 任务依赖很多:从下图可以看出,有些任务的后续依赖很多,一旦失败,后续任务都得等待。这样就很容易导致后续任务被堵死。 循环任务很多,有很多任务本身是循环调用的其他任务的任务,会不停生成任务,循环任务本身也是任务,这就有可能导致任务堵死。 问题现象 就是很多任务,都在运行中的状态,但是就是不执行,因为他们占用了各自任务组的上限,导致卡死。当任务积累到一定程度,手工去杀死,太慢了,而且真的很累。 问题分析 我们现在就是要杀死这些任务,但是有一些要注意的点: 任务是全量任务,杀死不丢失数据: 只有全量任务,今天才能随意的去杀死,如果是增量的,就需要手工单独处理 下游任务今日不生成数据,不影响展示结果:下游的任务,或者说给客户展示的数据,这种高风险数据,不会因为今天的任务被杀死,而影响展示效果,数据一天不更新,不影响最终结果 解决方案 调用API批量杀死工作流:DolphinScheduler 是自带了很多的 API 接口的,可以批量新建或者停止工作流 Python脚本:所以写了个脚本来完成这个事 脚本名称:dolpschedule-kill.py # -*- coding: utf-8 -*- import requests # 项目环境,没法安装 python3 ,所以这个是 python2.7 的代码 # 配置信息 BASE_URL = "http://XXX.XXX.XXX.XXX:12345/dolphinscheduler" # 项目编码 # 查询后台数据库,或者页面F12 - 项目管理 - 项目列表 - 项目编码 PROJECT_CODE = "12194663850176" # 1. 获取 Token # 登录页面 - 安全中心 - 令牌管理 - 创建令牌 token = "6bff15e17667d95fdffceda08a19cc6c" # 2. 获取正在运行任务列表 def get_running_tasks(token, pageNo=1, pageSize=10): headers = {"token": token} task_list_url = "{0}/projects/{1}/process-instances?pageNo={2}&pageSize={3}&stateType=RUNNING_EXECUTION".format( BASE_URL, PROJECT_CODE, pageNo, pageSize) resp = requests.get(task_list_url, headers=headers) return [item['id'] for item in resp.json()['data']['totalList']] # 3. 批量停止任务 def batch_stop_tasks(token, task_ids): headers = {"token": token} for task_id in task_ids: stop_url = "{0}/projects/{1}/executors/execute?processInstanceId={2}&executeType=STOP".format( BASE_URL, PROJECT_CODE, task_id) resp = requests.post(stop_url, headers=headers) print("Task {0} stopped: {1}".format(task_id, resp.status_code)) # 主流程 if __name__ == "__main__": # 每次执行,杀死 100 个任务,可调整 running_tasks_ids = get_running_tasks(token, pageNo=1, pageSize=100) print("Found {0} running tasks".format(len(running_tasks_ids))) batch_stop_tasks(token, running_tasks_ids) 脚本执行 python dolpschedule-kill.py 执行效果 每个任务返回 200 ,说明执行任务成功 最终解决 最终,僵死的工作流全部被我杀死了,不过有时候会有一些僵死的任务实例(不是工作流)存在,这个没法用接口杀死。只能在后台修改,可以看我之前的文章 《DolphinScheduler 6 个高频 SQL 操作技巧》 解决无法被杀死的僵死任务实例。 原文链接:https://blog.csdn.net/pengpenhhh/article/details/149134569

优秀的个人博客,低调大师

Apache Flink 2.0.0: 实时数据处理的新纪元

今天,Flink开发团队骄傲地宣布ApacheFlink2.0.0正式发布!这是Flink2.x系列的首个版本,也是自九年前Flink1.0发布以来的首次重大更新。这个版本凝聚了社区两年来精心筹备与协作的成果,标志着Flink发展开启了新篇章。 在这个版本中,165位贡献者齐聚一堂,完成了25项Flink改进提案(FLIP),解决了367个问题。我们衷心感谢所有贡献者为这个里程碑版本付出的宝贵努力! 过去十年间,ApacheFlink经历了蜕变式的发展。在1.0时代,Flink开创了有状态流计算的先河,让端到端精确一致语义的有状态流处理成为现实。如今,亚秒级延迟的实时处理已成为标准能力。然而,实时计算引擎如今却面临新的挑战,阻碍了其更加广泛的应用。实时计算的成本居高不下,无论是昂贵的资源消耗,还是掌握复杂的分布式流处理概念所需的学习曲线,都限制了实时计算在更多样化应用场景中的发挥。与此同时,云原生架构、数据湖和人工智能大语言模型等现代浪潮的涌现,也为实时系统带来了新的要求。在2.0时代,Flink正在直面这些挑战,致力于提供更易用、更可扩展的实时计算解决方案,使各组织能够全面拥抱大数据和人工智能应用的实时能力。这一崭新篇章体现了Flink致力于使实时计算比以往更加实用、高效和广泛适用的决心。 在2.0版本中,Flink引入了若干创新性功能,以应对实时数据处理的关键挑战,并满足现代应用(包括人工智能驱动的工作流)不断增长的需求。 分离式状态管理架构使得Flink在云原生环境中更高效地利用资源,在确保高性能实时处理的同时将资源开销降至最低。 物化表的引入和改进使用户能够专注于业务逻辑,无需深入了解流处理的复杂性以及流与批处理模式之间的差异,从而简化开发流程并提高生产力。批处理模式的优化为近实时或非实时处理场景提供了具有成本效益的替代方案,扩展了Flink对多样化应用场景的适应性。 此外,与ApachePaimon的深度集成强化了流式湖仓架构,使Flink成为实时数据湖应用场景的领先解决方案。 随着人工智能和大语言模型的不断崛起,对可扩展的实时数据处理解决方案的需求也在增长。Flink2.0在性能、资源效率和易用性方面的进步使其成为人工智能工作流的强大基础,确保Flink处在实时数据处理创新的前沿地位。 这些改进共同展示了Flink致力于满足现代数据应用不断变化的需求,这其中就包括将实时处理能力与人工智能驱动的系统相结合。 除了新功能外,Flink2.0还对已弃用的API和配置进行了全面清理,这可能导致某些接口和行为出现向后不兼容的变化。升级到此版本的用户应特别注意这些变化,以确保顺利迁移。 新功能亮点 分离式状态管理 过去十年间,Flink的部署模式、工作负载和硬件的架构都发生了很大的改变。我们已经从计算存储耦合的map-reduce时代,过渡到了以Kubernetes容器化部署为标准的云原生世界。为了全面拥抱这一转变,Flink2.0引入了分离式状态存储与管理,利用分布式文件系统(DFS)作为主要存储介质。这一架构上的创新解决了云原生环境带来的关键挑战,同时又具备可扩展性、灵活性和高性能。 这种新架构解决了云原生时代给Flink带来的以下挑战: 容器化环境中本地磁盘的限制 目前的状态模型中Compaction导致的计算资源尖峰 大状态(数百TB)作业的快速重缩放 以原生方式实现轻量级快速检查点 受限于Flink现有的阻塞式执行模型,直接将状态存储扩展为与远程DFS交互是不够的。为了克服这一限制,Flink2.0引入了异步执行模型以及分离式状态后端,并且重新设计了能够并行和异步地进行状态访问的SQL算子。 Flink2.0为分离式状态管理提供了从运行时到SQL算子层的端到端体验: 异步执行模型 无序数据处理:解耦状态访问和计算,以实现并行执行。 异步状态API:对检查点期间非阻塞性状态操作的完美支持,减少延迟并提高资源利用率。 语义保持:保持Flink核心语义(例如,水位传播、定时器处理和键顺序)不变,确保用户在采用新架构时无需担心应用程序行为的变化。 更强大的SQL算子 借助新的异步状态访问API,Flink2.0重新实现了七个关键的SQL算子,包括Join和Aggregates等有状态操作(例如,窗口聚合、分组聚合)。这些优化针对状态访问延迟比较大的场景,通过非阻塞式执行最大化吞吐量。 用户可以通过设置table.exec.async-state.enabled参数来启用该功能。一经启用,作业中所有支持的SQL算子将自动切换到异步状态访问模式,无需更改代码。 在Nexmark基准测试的14个有状态查询中,有11个现已完全兼容异步执行模型,并且有显著的性能提升。我们正在努力扩展对剩余有状态算子的支持。 ForSt-分离式状态后端 ForSt,意为“为了流处理”,是一个专为满足云原生部署独特需求而设计的分离式状态后端。通过将状态存储与计算资源解耦,ForSt消除了本地磁盘的限制,并支持并行多路I/O操作,有效降低了延迟。 ForSt与DFS的集成确保了数据的持久化和容灾能力,同时优化了读写操作以保持高性能。它能够以非常轻量和快速的方式执行检查点和错误恢复。 性能评估(以Nexmark为基准) 对于重I/O的有状态查询(q5、q7、q18、q19、q20),使用带有1GB缓存的分离式状态存储与传统的本地状态存储方案相比,吞吐量可达75%~120%。值得注意的是,这些查询的状态大小从1.2GB到4.8GB不等,即使在缓存受限条件下,分离式架构与完全本地状态存储相比仍能表现出竞争力。即使没有缓存,异步模型也能确保达到本地状态存储大约50%的吞吐量。 对于状态较小(10MB到400MB)的有状态查询(q3、q4、q5、q8、q12、q17),状态几乎完全驻留在内存块缓存中,磁盘I/O可以忽略不计。在这种情况下,分离式状态存储的性能比本地状态存储平均低不超过10%。 基准测试结果证实,分离式状态架构能够高效地处理大规模有状态工作负载。它可以作为传统存算耦合状态存储的无缝、高性能替代,且没有显著的性能损失。 Flink2.0的分离式状态管理是迈向真正云原生未来的关键一步。通过解决本地磁盘限制、资源使用波动和快速重缩放等关键挑战,使用户能够构建可扩展、高性能的流处理应用程序。随着异步执行模型和ForSt的引入,以及能力更强大的SQL算子,我们预计Flink2.0将成为云原生时代有状态流处理的新标准。 流批统一 物化表 物化表是我们统一流处理和批处理范式这一愿景的基石。它使得用户能够声明性地通过单个数据处理流程同时管理实时数据和历史数据,消除了维护多套代码或工作流的弊端。 在Flink2.0中,我们将重点放在生产级的可操作性上。对简化实际环境中生命周期管理和执行的关键功能进行了增强: 查询变更-物化表现在支持表结构和查询语句的更新,无需重新处理历史数据即可无缝迭代业务逻辑。这对于需要应对表结构演变和计算逻辑调整的生产场景至关重要。 Kubernetes/Yarn支持-除了Standalone集群,Flink2.0对将物化表刷新作业提交到YARN和Kubernetes集群进行了原生支持。这使用户能够将物化表刷新工作流无缝集成到其生产架构中,从而实现标准化资源管理、容错和可扩展性。 生态系统集成-通过与ApachePaimon社区的合作,Paimon的湖存储格式目前原生支持Flink物化表,将Flink的流批计算与Paimon的高性能ACID事务相结合,实现统一的数据服务。 物化表给开发者提供了简单,可靠的流批数据处理链路。未来将继续深化生产级支持,例如与生产可用的调度程序集成,以实现基于策略的自动化刷新。 自适应批处理执行 Flink具备自适应批处理执行功能,能够根据运行时信息优化执行计划以提高性能。关键功能包括动态分区裁剪、运行时数据过滤和基于数据量的自动并行度调整。在Flink2.0中,我们通过以下两项新优化进一步增强了这些功能: 自适应BroadcastJoin-与ShuffleHashJoin和SortMergeJoin相比,BroadcastJoin无需大规模数据重分布和排序,执行效率更高。然而,其适用性取决于输入数据量是否足够小;否则,可能会出现性能或稳定性问题。在静态的SQL优化阶段,准确估算Join算子的输入数据量具有一定的挑战性,难以确定BroadcastJoin是否适用。通过启用自适应执行优化,Flink在运行时动态捕获Join算子的实际输入情况,并在满足条件时自动切换到BroadcastJoin,显著提高执行效率。 自动优化数据倾斜的Join-在Join操作中,特定键的频繁出现可能导致下游任务处理的数据量差异巨大,因而出现长尾瓶颈,严重拖慢整个作业的执行。Flink现在可以利用Join算子输入边的运行时统计信息,动态拆分出倾斜的数据分区,同时确保计算结果的完整性。这有效缓解了由数据倾斜引起的长尾延迟。 更多关于Flink自适应批处理执行的功能和用法,请参阅Flink文档。 性能 通过上述优化,Flink2.0的批处理性能得到了进一步提升。我们在10TBTPC-DS数据集上进行了基准测试:通过ANALYZETABLE语句生成额外统计信息后,Flink2.0相比Flink1.20实现了8%的性能提升;在没有额外统计信息的情况下,性能提升达到了16%。 流式湖仓 湖仓架构是近年来出现的一种变革性趋势。通过将Flink作为流批统一处理引擎和Paimon作为流批统一湖格式,流式湖仓架构实现了湖仓数据的实时新鲜度。在Flink2.0中,Flink社区与Paimon社区紧密合作,充分发挥各自优势和前沿功能,带来了显著的增强和优化。 Paimon数据源现在支持对嵌套的projection进行下推。在涉及复杂数据结构的场景中显著减少了IO开销并大幅提升性能。 当使用Paimon作为维度表时,LookupJoin的性能得到了大幅提升。通过将输入数据的分布与Paimon表的分桶机制对齐,显著减少了每个Lookupjoin任务需要从Paimon检索、缓存和处理的数据量。 所有Paimon的维护性操作(如Compaction、管理快照/分支/标签等)现在都可以通过FlinkSQL的CALL语句轻松执行,并且支持命名参数,可以与任何可选参数的子集一起使用。 在Flink2.0之前,批模式下将数据写入Paimon时无法开启自动并行度推断。在新版本中,我们通过固定并行度确保分桶的正确性,同时在与分桶无关的场景中仍应用自动并行推断,从而解决了这一问题。 物化表是FlinkSQL中新的流批统一表类型,Paimon作为首个支持该功能的Catalog类型,提供了连贯的开发体验。 人工智能 随着大语言模型技术的快速发展,人工智能正在从以训练为核心转向以推理和实际应用为核心,推动了对大规模数据实时处理的需求。作为领先的实时大数据处理引擎,Flink一直在积极探索和创新,以应对人工智能时代带来的机遇和挑战,更好地支持实时人工智能应用。 FlinkCDC3.3版本在Transform表达式中引入了动态调用人工智能模型的能力,原生支持OpenAI模型。在实时捕获数据库数据变化后,用户可以立即利用人工智能模型进行智能排序、语义分析或异常检测。这种集成使FlinkCDC能够有效结合流处理与检索增强生成(RAG)技术,在实时风险控制、个性化推荐和智能日志解析等场景中实现端到端低延迟处理,从而在数据流中释放实时人工智能的价值。 此外,FlinkSQL还为AI模型引入了专门的语法,允许用户像定义Catalog一样轻松定义人工智能模型,并在SQL语句中像函数或表函数一样调用它们。与FlinkCDC相比,FlinkSQL支持更复杂的关系数据处理逻辑,能够无缝将复杂数据处理工作流与人工智能模型集成,这一特性目前正处于积极开发和完善之中。 其他 DataStreamV2API DataStreamAPI是Flink提供的两种主要API之一,用于编写灵活的数据处理程序。作为一个几乎自项目第一天起就引入并在近十年中不断演进的API,我们也越来越意识到它存在着诸多问题。对这些问题的改进需要巨大的不兼容变更,这使得原地重构几乎不切实际。因此,Flink社区在2.0版本引入了一组新的API,即DataStreamAPIV2,以逐步取代原始的DataStreamAPI。 在Flink2.0中,我们提供了DataStreamV2API的最小可行产品(MVP)版本。它包含底层的基础构建部分(数据流、处理函数、分区),以及状态、时间服务、水位线处理等上下文和原语。同时,我们还提供了一些高级扩展,如窗口和Join。它们更像是一种语法糖,没有它们,用户仍然可以通过使用基础API实现相同行为,但内置支持会让实现更加容易。 更多详情请参阅文档。 注意:新的DataStreamAPI目前处于实验阶段,尚不稳定,因此目前不建议在生产环境中使用。 SQLgateway支持Application模式 SQLgateway现在支持以Application模式执行SQL作业,取代了已移除的Per-Job部署模式。 SQL语法增强 FlinkSQL现在支持C风格的转义字符串。更多详情请参阅文档。 新增了更简洁的QUALIFY子句,用于过滤窗口函数的输出。有关示例,请参阅Top-N和去重。 对于表函数调用,在FROM中不再需要使用TABLE()包裹。更多示例请参阅更新后的窗口表值函数文档。 Java支持 从2.0版本开始,Flink正式支持Java21,默认和推荐的Java版本已更改为Java17(此前为Java11)。同时,Flink2.0不再支持Java8。这一变更主要影响Docker镜像和从源代码构建Flink。 序列化改进 Flink2.0为集合类型(Map/List/Set)引入了更高效的内置序列化器,并且默认启用。 Kryo依赖升级到了5.6版本,该版本速度更快,内存效率更高,并且对较新的Java版本有更好的支持。 非兼容性变更 API 以下几组API已被完全移除。 DataSetAPI。请迁移到DataStreamAPI,或在适用的情况下迁移到TableAPI/SQL。有关如何从DataSet迁移到DataStream的更多信息,请参阅如何从DataSet迁移到DataStream。 ScalaDataStream和DataSetAPI。请迁移到JavaDataStreamAPI。 SourceFunction、SinkFunction和SinkV1。请迁移到Source和SinkV2。 TableSource和TableSink。请迁移到DynamicTableSource和DynamicTableSink。 TableSchema、TableColumn和Types。请分别迁移到Schema、Column和DataTypes。 从DataStreamAPI中移除了部分已弃用的方法。 从RESTAPI中移除了部分已弃用的字段。 注意:您可能会发现某些已移除的API仍然存在于代码库中,通常位于不同的包路径下。它们仅用于内部用途,可能会随时被更改或移除。请勿使用它们。 连接器适配计划 随着SourceFunction、SinkFunction和SinkV1的移除,依赖这些API的现有连接器将无法在Flink2.x系列上运行。以下是Flink官方支持的连接器的适配计划。 在Flink2.0.0发布后,将立即发布适配API变化的Kafka、Paimon、JDBC和ElasticSearch连接器的新版本。 我们计划在接下来的3个次要版本(即到Flink2.3)内逐步支持剩余的连接器。 配置 符合以下标准的配置项将被移除: 标记为@Public且已弃用至少2个次要版本。 标记为@PublicEvolving且已弃用至少1个次要版本。 不再支持旧版配置文件flink-conf.yaml。请改用标准YAML格式的config.yaml。我们提供了一个迁移工具,可将旧版flink-conf.yaml转换为新的config.yaml。有关更多详情,请参阅从flink-conf.yaml迁移至config.yaml。 从StreamExecutionEnvironment和ExecutionConfig中移除了以Java对象为参数的配置API。它们现在应通过Configuration和ConfigOption设置。 为避免暴露内部接口,用户定义函数不再完全访问ExecutionConfig。相反,必要的功能(如createSerializer()、getGlobalJobParameters()和isObjectReuseEnabled())现在可直接从RuntimeContext访问。 其他 Flink1.x和2.x之间不保证状态兼容性。 不再支持Java8,Flink现在支持的最低Java版本是Java11。 不再支持Per-Job部署模式,请改用Application模式。 HybridShuffle的旧模式已经被基于分层存储的新架构所取代并移除。 发行说明 有关功能、改进、错误修复的全面列表,以及升级过程中需要关注的调整和问题,请参阅发行说明。 贡献者名单 ApacheFlink社区感谢对此版本做出贡献的每一位贡献者: AlanSheinberg,AleksandrPilipenko,AlexSorokoumov,AlexYinHan,AlexanderFedulov,Ammu,AndreiKaigorodov,AndreyGaskov,ArkadiuszDankiewicz,ArvidHeise,BoShuaiLi,BriskWong,CancaiCai,ChesnaySchepler,Chester,Chris,CuiYanxiang,DannyCranmer,DavidAnderson,DavidMoravek,DavidRadley,DawidWysakowicz,DianFu,DmitriyLinevich,EaugeneThomas,FabianHueske,FengJin,FerencCsaky,FrancescoDiChiara,GaborSomogyi,GantigmaaSelenge,GraceGrimwood,GrzegorzKołakowski,GustavodeMorais,HanyuZheng,HaoLi,HongTeoh,Hyungstler,JackyLau,JamesHughes,JeyassriBalachandran,Jiangjie(Becket)Qin,JimHughes,Jingsong,JoernKottmann,Joery,JunRuiLee,JunruiLee,KaitianHu,KartikeyPant,Kunni,KurtOstfeld,Lajith,LeiYang,LorenzoAffetti,LukeChen,MarcAurelFritz,MartijnVisser,MártonBalassi,MateCzagany,MattBraymer-Hayes,MatthiasPohl,MinaAsham,Myracle,PaulZhang,PengLu,PeterHuang,PiotrNowojski,PiotrPrzybylski,QingshengRen,RanTao,RobinMoffatt,RocMarshal,RomanKhachatryan,Ron,RuiFan,RyanSkraba,SamBarker,Samrat,SergeiMorozov,SergeyNuyanzin,SergioPena,SergioPeña,Shengkai,ShuyiChen,StefanRichter,Sud0x67,TamasSule,ThomasCooper,TimoWalther,Vincent-Woo,WangFeiFan,WangQian,WangQian,WeijieGuo,WenchaoWu,WenjunRuan,XiaSun,XiangyuFeng,XintongSong,XuHuang,XuHao41,XuShuai,Xuannan,Xuyang,YanfeiLei,YiZhang,YiyuTian,YuChen,YubinLi,YuxinTan,Zakelly,ZdenekTison,ZhanghaoChen,ZhenWang,anupamaggarwal,argoyal2212,auroflow,candaccc,clarax,codenohup,drymatini,dylanhz,fengli,fredia,gongzhongqiang,haishui,huyuanfeng,jectpro7,lexluo09,lincolnlee,liuyongvs,lvyanquan,lz,mayuehappy,mehdid93,morazow,naferx,nateab,noorall,r-sidd,shalini,simplejason,slankka,sullis,sunxia,sxnan,tison,wangfeifan,xaniasd,xiarui,xincheng.ljr,xuyang,xuzifu666,yinhan.yh,yunfengzhou-hub,zbz,zhangmang,zhaorongsheng,zhengchenyu,zhuanshenbsj1,余良,皆非,马越,林尚泉

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册