搜索[工具调度]结果-低调大师优秀个人博客

MySQL数据库在高并发下的优化方案

监控系统状态：使用 SHOW STATUS、SHOW ENGINE INNODB STATUS 或 Prometheus + Grafana 等工具监控 QPS、TPS、连接数、缓冲池命中率等关键指标。

2025-09-08

面试大杂烩

工具：可以借助 ShardingSphere、MyCat 等中间件，但对应用侵入性较强，增加了系统复杂度。层面三：架构优化（从单机到分布式）这是应对极高并发的主要手段。

2025-09-18

集群管理器和调度器 Nomad

Nomad 详细介绍 Nomad 是一个集群管理器和调度器，专为微服务和批量处理工作流设计。Nomad 是分布式，高可用，可扩展到跨数据中心和区域的数千个节点。

2017-07-07

伏羲—阿里云分布式调度系统

点击查看回顾视频伏羲系统架构分布式调度系统需要解决两个问题：任务调度：如何将海量数据分片，并在几千上万台机器上并行处理，最终汇聚成用户需要的结果？当并行任务中个别失败了如何处理？

2016-12-20

Spark源码分析之六：Task调度（二）

话说在《Spark源码分析之五：Task调度（一）》一文中，我们对Task调度分析到了DriverEndpoint的makeOffers()方法。

2016-02-21

Spark源码分析之五：Task调度（一）

接下来我们要讲的第二阶段Task调度与执行，则是Spark中Job的物理调度，它实际上分为两个主要阶段： 1、Task调度； 2、Task运行。

2016-02-18

面向大数据与云计算调度挑战的阿里经济体核心调度系统—Fuxi 2.0全揭秘

随阿里经济体和阿里云丰富的业务需求（尤其是双十一）和磨练，伏羲的内涵不断扩大，从单一的资源调度器（对标开源系统的YARN）扩展成大数据的核心调度服务，覆盖数据调度（Data Placement）、资源调度

2020-05-12

Apache YARN 调度器优化全景分析（2022 — 2026）

分析：并发调度器是解决大集群调度延迟的根本方案。当前 YARN 调度器使用全局写锁，在数千节点、数万容器场景下成为瓶颈。但此项目已推进 3.5 年尚未完成，表明复杂度极高。

2026-07-20

鸿蒙分布式调度：跨设备协同实战

技术选型考量： ·分布式软总线：实现设备间的自动发现和高效通信 ·分布式数据管理：保证跨设备数据的一致性 ·分布式任务调度：核心功能，实现任务的迁移和续接 ·ArkUI框架：保证多设备UI的自适应能力

2025-12-23

SnailJob 1.5.0 发布，分布式任务调度平台

🔥🔥🔥 灵活，可靠和快速的分布式任务重试和分布式任务调度平台 ✅️ 可重放，可管控、为提高分布式业务系统一致性的分布式任务重试平台 ✅️ 支持秒级、可中断、可编排的高性能分布式任务调度平台项目特性

2025-05-18

英伟达开源 Run:ai 调度程序 KAI Scheduler

英伟达宣布推出KAI Scheduler的开源版本，这是一种 Kubernetes-native GPU 调度解决方案，现已在 Apache 2.0 许可证下提供。

2025-04-08

rust 作业调度项目 jiascheduler 发布 v1.1.0

正在准备中，因为平常上班比较忙只能利用周末码代码的缘故，所以版本会比较慢，不过好在并不觉得是个负担，会长期开发，期待未来做出一个成体系的运维自动化小生态简单介绍一下 jiascheduler 是一款任务调度软件

2025-03-27

OpenCL任务调度基础介绍 | 京东物流技术团队

MultiCL通过扩展OpenCL标准使得命令队列和设备解耦，实现了自适应调度，并为不同程度的开发人员提供了不同的调度方法，缓解了OpenCL的调度难题。

2023-11-17

大数据调度

Amazon DMS、Azure Datafactory、AWS Database Migration，增强与各种云的互联互通机器学习模块中，新增Kubeflow组件（基于云原生构建的机器学习任务工具大合集

2023-10-18

每日一博 | 极致优化 SSD 并行读调度

本文详细探讨了一种长尾可控的方法论，以及在这个方法论的约束下，如何极致优化读调度。这些方法对于实施类似LargerThanMem的技术也将提供有价值的启发。全文10593字，预计阅读时间27分钟。

2023-09-15

每日一博 | Koordinator 异构资源 / 任务调度实践

前言 Koordinator 是阿里云基于过去我们建设的统一调度系统中积累的技术和实践经验，对外开源了新一代的调度系统。Koordinator 支持 Kubernetes 上多种工作负载的混部调度。

2023-08-14

Openjob 1.0.3 发布，分布式任务调度框架

Openjob 基于 Akka 架构的新一代分布式任务调度框架。支持多种定时任务、延时任务、工作流设计，采用无中心化架构，底层使用一致性分片算法，支持无限水平扩容。

2023-06-14

GaussDB(DWS)网络调度与隔离管控能力

摘要：调度算法是调度器的核心，设计调度算法要充分考虑业务场景和用户需求，没有万能的调度算法，只有合适的调度算法。

2023-04-04

ModStartBlog v6.3.0 任务调度重构，UEditor 升级

、253云通讯、聚合、七牛云、融云、赛邮、UCloud、云片、网易云） V6.3.0版本更新 2022年12月07日ModStartBlog发布v6.3.0版本，增加了以下9个特性： [新功能] 任务调度新增上次运行时间设定

2022-12-07

全文4104字，预计阅读时间12分钟。一、背景随着微服务架构的兴起，越来越多的公司都对自身的业务架构进行了微服务化。在微服务架构中，随着服务的逐渐拆分，数据库的私有化已成为业界不成文的规定。因此伴随着微服务拆分所带来的数据一致性的问题也愈发严重，如何解决该问题成为微服务架构落地过程中一个非常重要的问题。由此我们引出分布式事务这一概念，用来解决上述背景带来的问题。在介绍分布式事务之前先让我们回顾一下什么是事务。二、事务事务是数据库操作的最小工作单元，是作为单个逻辑工作单元执行的一系列操作；这些操作作为一个整体一起向系统提交，要么都执行、要么都不执行；事务具有ACID四大属性。 A（Atomic）：原子性，构成事务的所有操作，要么都执行完成，要么全部不执行，不可能出现部分成功部分失败的情况。 C（Consistency）：一致性，在事务执行前后，数据库的一致性约束没有被破坏。比如：数据库约束账户余额必须大于0，所以设置为无符号数，在此约束下，A只有100元，但要转出200元，此时数据库会保持对约束的一致性，触发执行回滚。 I（Isolation）：隔离性，数据库中的事务一般都是并发的，隔离性是指并发的两个事务的执行互不干扰，一个事务不能看到其他事务的运行过程的中间状态。通过配置事务隔离级别可以比避免脏读、重复读问题。 D（Durability）：持久性，事务完成之后，该事务对数据的更改会持久到数据库，且不会被回滚。了解完了事务的基本概念，接着让我们看看什么是分布式事务。三、分布式事务在分布式系统中，一个应用系统拆分为独立部署的多个服务，因此需要服务与服务之间远程协作才能完成事务操作，这种分布式系统环境下由不同的服务之间通过网络远程协作完成的事务称为分布式事务。从架构角度出发，分布式事务基本涉及到两大类。第一类：一个事务请求只涉及单体服务，但是会操作多张数据库表，多个数据库表操作完成才表示最终完成。第二类：一个事务涉及多个服务，同时每个服务可能连接着一个或者多个数据库，需要协同多个独立的服务访问多个数据存储最终才能完成。我们常见的分布式事务来保证数据的一致性的方法分为两类：强一致性、最终一致性。采用强一致性的分布式事务的方案：通常采用两段式提交协议2PC、三段式提交协议3PC。在微服务架构中，该种方式不太适合，原因如下：由于微服务间无法直接进行数据访问，微服务间互相调用通常通过RPC或Http API进行，所以已经无法使用TM统一管理微服务的RM 不同的微服务使用的数据源类型可能完全不同，如果微服务使用了NoSQL之类不原生支持事务的数据库，业务的事务很难实现即使微服务使用的数据源都支持事务，那么如果使用一个大事务将许多微服务的事务管理起来，这个大事务维持的时间，将比本地事务长几个数量级。如此长时间的事务及跨服务的事务，将为产生很多锁及数据不可用，严重影响系统性能因此我们一般采用最终一致性来保证分布式系统的一致性。常见的最终一致性的分布式事务解决方案有：事件通知模式（本地异步事件服务模式、外部事件服务模式、MQ事务消息模式、最大努力通知模式）、事务补偿模式（Saga、TCC）。我们通过调研上述解决方案总结出了以下特性：下面我们通过一个业务场景来了解一下什么是分布式事务，并且我们创新行业是用什么方案来解决数据一致性问题的。四、业务场景假设有一个积分签到系统，里面有一个签到兑换积分从而兑换物品的功能场景。我们要做的事情如下：用户签到成功、增加用户积分用户创建兑换物品订单，订单状态为已支付扣除用户积分扣减物品库存创建物流出库单针对以上的业务场景，我们应该如何实现分布式事务来满足业务需要。下面主要讲事务补偿模式来实现分布式事务。 4.1 TCC 模式 TCC是将整体业务逻辑的每一个事务提交分成了Try，Confirm，Cancel三个操作。 Try：完成业务的准备工作 Confirm：完成业务的提交工作 Cancel：完成业务的回滚工作针对上述业务场景，按照业务背景要做的事情，实现一个TCC的分布式事务。如果要实现一个TCC的分布式事务，首先要做的是了解业务的主流程以及各个接口提供的业务含义，不直接完成这个业务操作，而是完成一个Try(预处理)操作。例如：给用户添加积分，我们不直接添加积分，先预处理添加积分。扣物品库存我们也不直接扣库存，先冻结将扣掉的库存。具体如下图如果Try的逻辑都成功，TCC开始执行业务的Confirm操作，完成整个事务流程。添加用户积分扣库存等操作。如果Try的逻辑部分成功，有部分有问题，那么开始执行Cancel操作，撤销之前执行的所有操作。总体对于TCC模式来说，要做一个分布式事务，业务中的一个接口需要完成3个逻辑的改造，Try-Confirm-Cancel。服务调用链路依次执行Try逻辑如果都正常的话，执行Confirm逻辑，完成整个业务流程如果部分服务的Try逻辑有问题，会执行Cancel逻辑，撤销之前执行的所有操作 TCC模式对于业务的侵入性比较强，流程比较繁琐。各个业务侧都需要支持升级。对于我们创新行业来说，成本有点大，我们选择了另一种模式来实现分布式事务——Saga模式。 4.2 Saga模式 Saga是一种纯业务补偿模式，其设计理念为，业务在调用的时候正常提交，当一个服务失败的时候，所有其依赖的上游服务都进行业务补偿操作。 Saga的基本概念： saga：长事务，long live transaction 每个本地事务有对应的补偿事务执行情况正常：T1 -> T2 -> T3 -> … -> Tn 异常：T1 -> T2 -> T3（异常）-> C3 -> C2 -> C1 Saga两种恢复策略： backward recovery，向后恢复，补偿所有已完成的事务（回滚操作） forward recovery，向前恢复，重试失败的事务，假设每个子事务最终都会成功（重试操作） Saga事务的优缺点：优点：模型比TCC更简单，只需业务方提供事务执行接口transaction、事务取消补偿接口cancel 缺点：直接执行事务执行接口transaction，可能有副作用（无论是否回滚，都会执行事务接口的逻辑，举例：A账号向B账号转账，T1事务对A用户扣款，T2事务对B用户加款，T1执行成功，同时产生了一条扣款记录，T2执行失败需要回滚T2和T1，在这个过程中的副作用是A账号能感知到金额变化和扣款记录）针对上述业务背景，我们对于业务侧只需要支持事务提交的接口（ T ）和失败补偿的接口（ C ）即可。具体流程如下图：对于Saga事务来说只有完成跟未完成两种状态。无论是事务全部执行成功，还是全部补偿成功都视为完成状态。出现异常导致流程中断为未完成状态。我们针对于业务提交的流程的Http Code状态来区分是执行向前恢复（重试），还是向后补偿（回滚）。对于没有补偿 C 的业务，我们将采取向前恢复，直到成功。对于异常情况，使用离线补偿的方式对未完成的Saga事务进行重做，如长时间无法完成将触发报警，人工处理。我们行创基于上述saga模型研发了Saga的事务协调器，具体执行流程如下：业务方使用需要实现对应事务的执行方法和补偿方法，采用上报分布式事务的方式进行操作，事务上报的数据属性简介： Name：本次流程的名称 OID：请求流程ID，必须唯一 Process：每个子流程的属性简介（类型为list，按照顺序执行） Transaction：执行事务的流程 Call：服务调用的方式，HTTP调用时传GET、POST等 ServiceName：服务名称 ServiceMethod：调用服务的方法名称，HTTP传请求的URL Body：POST body，string类型 Query：Get Query，map[string]interfase{} oid：订单ID，必传，必须唯一，用于幂等性校验等 Compensate：执行失败的补偿流程 Call：服务调用的方式，HTTP调用时传GET、POST等 ServiceName：服务名称 ServiceMethod：调用服务的方法名称，HTTP传请求的URL Body：POST body，string类型 Query：Get Query，map[string]interfase{} oid：订单ID，必传，必须唯一，用于幂等性校验等业务方按上述规则上报数据，该事务会最终保证数据一致性，要么全部成功，要么都失败回滚。我们创新行业采用Saga模型来实现分布式事务，来解决日常微服务拆分带来的数据一致性的问题，满足了我们日常的产品功能的需要，解决了棘手的问题。五、总结针对分布式事务的解决方案都有各自的特点，没有一个最优的方案，需要结合实际的应用场景选择合适的模式。 2PC 和 3PC 是一种强一致性事务，不过还是有数据不一致，阻塞等风险，而且只能用在数据库层面。 Saga、TCC是一种补偿性事务的思想，对业务入侵较大，需要业务方实现对应的方法。本地消息、事务消息和最大努力通知其实都是最终一致性事务，因此适用于一些对时间不敏感的业务。推荐阅读：云原生时代的搜索服务算力管理浅谈小程序开源业务架构建设之路百度小程序包流式下载安装优化前端工程化之FaaS SSR方案日志中台不重不丢实现浅谈百度ToB垂类账号权限平台的设计与实践

2022-05-12

Meetup 02期回顾：调度系统 Schedulis 0.6.2 发布

主题：《调度系统 Schedulis 0.6.2 发布》讲师：王哲微众银行大数据平台工程师 GitHub： https://github.com/WeBankFinTech/Schedulis

2022-04-14

CNCF 沙箱项目 OCM Placement 多集群调度指南

与原生 Kubernetes 调度模型的区别与联系？与 Kubernetes 的静态调度不同，Placement 使用动态调度的机制。

2022-02-22

精选列表