搜索[分布式调度]结果-低调大师优秀个人博客

精选列表

搜索[分布式调度]，共10000篇文章

揭秘字节跳动内部流量调度与容灾实践

它依托全球 1100+ 分布式探测节点及 IDC 质量数据等，构建出强大的网络质量感知能力，实现了对“端-边-云”全链路流量的质量感知，从而根据 APP 应用的实时访问质量、节点负载和健康状况作出动态流量调度

2025-08-04

接入 MSE XXL-JOB 任务调度实现优雅下线

任务调度下跌：在发布重启过程中，调度器将任务分发给停机节点，导致调度失败影响整体处理效率。因此，在使用定时任务调度的场景下，需要定时任务执行的优雅下线来实现滚动发布和重启过程中的业务平滑运行。

2025-02-26

深入解析 DolphinScheduler 任务调度、拆分与执行全流程

Apache DolphinScheduler介绍 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。

2024-10-10

Go-Job让你的任务调度不再繁琐

二、架构设计 Go-Job的目标是充分利用Go语言的优势，提供高性能、易扩展的分布式任务调度解决方案，满足不同业务团队的复杂需求和快速变化的技术环境。就像量脚定制鞋一样，专为Go项目量身打造！

2024-06-20

海豚²来了丨DolphinDB 集成 DolphinScheduler，任务调度更轻松

任务调度器。

2024-01-08

任务调度之时间轮实现 | 京东云技术团队

简单点，直接一个线程的休眠，thread.sleep(3000),一行代码就能达到目的，但是性能嘛……，由于每个任务都需要一个单独的线程，当系统中存在大量任务，任务调度假如，现在有一个任务需要3s后执行

2023-07-17

vivo 自研Jenkins资源调度系统设计与实践

基于以上情况，vivo Devops对Jenkins的部署架构进行优化搭建，并且配套了一套Jenkins资源调度系统用于管理Jenkins资源。

2023-02-08

DAG任务调度系统 Taier 演进之道，探究DataSourceX 模块

熟悉Taier的小伙伴们应该都知道，在11月7日发布的Taier1.3新版本中，我们融合了「DataSourceX 模块」。这是十分重要的一个变化，移除Taier外部插件依赖，新增数据源插件相关特性，支持后续Taier对接更多的RDBMS类型的SQL任务。本篇文章，就带大家详细了解一下DataSourceX 的作用及设计。 DataSourceX 模块的作用为什么说 DataSourceX 是一个非常重要的模块？在 Taier 中 RDB SQL 任务的运行，向导模式的数据同步、实时采集、FlinkSQL 任务配置都是依托数据源来进行的，其中保证数据源的正常使用以及 RDB SQL运行、任务所需的库、表、字段等信息的获取都是依靠 DataSourceX 模块来做的。下文展开聊聊Taier-DataSourceX 模块的具体功能。数据源中心添加数据源数据源中心添加数据源时需要进行数据源连通性检测，确保数据源是真正可用的，具体就是通过调用 DataSourceX 模块来实现。连通性检测通过之后，可以进行数据源的保存，并在任务中进行引用。数据同步任务-数据源配置数据同步任务源表结果表配置中的表、字段等信息都是通过 DataSourceX 模块进行获取。 FlinkSQL任务-数据源配置 FlinkSQL 中源表 topic 获取、数据预览等，结果表维表字段、数据预览等都是通过 DataSourceX 模块进行实现。 RDB SQL运行 Taier 1.3版本中，RDB SQL任务和数据源进行了绑定，不需要再像之前一样在控制台配置计算引擎，DataSourceX 中支持的RDB数据源都可以做RDB SQL的运行，比如像 OceanBase SQL 就可以通过 DataSourceX 模块来运行。 On Yarn任务日志 On Yarn 任务运行结束的聚合日志通过 DataSourceX 模块进行获取。 Taier-DataSourceX 其他功能 • Taier-DataSourceX 模块统一了各种数据源间的相同操作，提供了一组相同的接口来对不同的数据源进行操作，使得 Taier 可以更轻松的集成不同的数据源，支持更多的 RDB SQL 和数据源 • Taier-DataSourceX 模块支持几十种 RDB 数据源并支持开启池化管理，支持 hdfs、ftp、s3 等存储组件，支持 mongoDB、es、redis 等非关系型数据库 • Taier-DataSourceX 模块本身支持并统一了 kerberos 认证逻辑，对于支持开启 kerberos 认证的数据源，Taier 本身并不关心底层的实现逻辑，而是交由 DataSourceX 模块来完成 • Taier-DataSourceX 模块基于 ChildFirstClassLoader 并结合 SPI 支持在同一个应用中对接不同版本的数据源，如 Taier 可以同时支持 Hive1.x、Hive2.x、Hive3.x 三种不同版本的 Hive DataSourceX 模块的设计了解完 DataSourceX 的丰富功能之后，接下来带大家了解Taier-DataSourceX 模块的设计。统一的 Client 接口 Taier-DataSourceX-api 模块定义了 SPI 服务接口，具体实现由 Taier-DataSourceX-plugin 来完成。插件隔离加载 Taier-DataSourceX 会对每一个类型的数据源模块打包成一个单独的 jar 并放到指定目录。 Taier-DataSourceX-api 模块为每个插件包初始化一个 ChildFirstClassloader 隔离加载不同的数据源实现对象，解决多版本驱动同时加载的类冲突问题。 Client 对象统一代理 Taier-DataSourceX 模块加载的 Client 对象是通过动态代理生成的代理对象，方便进行统一的异常处理、重试、超时、上下文 Classloader 的切换等处理。连接池化管理 Taier-DataSourceX 模块针对 RDB 数据源或其他数据源进行的统一池化管理，支持开启连接池，为相同的数据源初始化一个连接池，控制资源使用和提升程序运行效率。针对不开启连接池的连接进行统一管理，及时清理过期连接。资源的统一管理 Taier-DataSourceX 模块针对初始化的 Classloader、Client 对象、执行线程池进行统一管理，在插件包变更、新增、删除时动态检测并销毁或新增资源。 Taier 1.3 新版本 Taier自今年2月份开源之后，得到了社区开发者的广泛支持，我们积极吸收社区开发者的意见建议，不断迭代版本，已于11月7日发布了全新的1.3 版本，进行了多项功能改动。技术改造 • DataSourceX 融合 • 部署优化数据开发 • 任务支持指定队列运行 • 任务数据源绑定新增功能 • 新增Flink Standalone • 新增Python、Shell任务，新增ClickHouse、Doris SQL任务视频回放&PPT获取视频回看： https://www.bilibili.com/video/BV1wW4y1T7EC/?spm_id_from=333.337.search-card.all.click 课件获取：关注公众号“数栈研习社”，后台私信“Taier”获得直播课件想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=szkyzg 同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」，交流最新开源技术信息，qun号码：30537511，项目地址：https://github.com/DTStack

2022-12-28

ModStartCMS v5.3.0 任务调度记录，模块市场优化

版本，增加了以下24个特性： [新功能] UEditorPlus升级2.7.0版本 [新功能] 禁止注册时允许设置以授权方式注册 [新功能] 富文本附件显示样式调整，图标替换为SVG [新功能] 任务调度新增上次运行时间设定

2022-12-01

直播CDN调度技术关键挑战与架构设计

业务隔离回源调度和接入调度的业务方不同，对调度的响应能力和异常处理方式也不相同，调度失效的影响范围和收益也不相同。

2022-11-15

DolphinScheduler 调度 DataX 实现 MySQL To ElasticSearch 增量数据同步实践

数据同步的方式数据同步的2大方式基于SQL查询的 CDC(Change Data Capture)：离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据。

2022-03-02

5种Python使用定时调度任务的方式

摘要：Python 有几种方法可以定时调度一个任务，这就是我们将在本文中学习的内容。

2021-09-23

YARN——容量调度中决定用户资源的几个参数

在《YARN——正确理解容量调度的capacity参数》一文中提到了，决定用户资源使用上限的还有user-limit-factor，minimum-user-limit-percent等参数，本文就来聊聊这些相关的参数

2021-07-10

每日一博 | Go timer 是如何被调度的？

Go runtime 调度 timer 时，触发时间更早的 timer，要减少其查询次数，尽快被触发。所以四叉树的父节点的触发时间是一定小于子节点的。

2021-06-11

微服务调度监控平台Smart Kettle之懒人模式

懒人模式旨在为那些不想自己下载源码，也不想搭建本地开发环境，又想使用Smart Kettle的用户提供的极速版的集成模式，让用户也能零成本在window平台跑起来，体验一下Smart Kettle调度监控平台为您带来的美妙感觉

2021-03-22

每日一博 | 影响 Kubernetes 调度的决策分析

Pod 调度。

2021-02-17

jfinal-admin 3.6.0 版本更新，任务调度大改版

jfinal-admin 3.6.0版本升级发布啦。本次主要更新内容如下：版本更新 1、简化获取执行类的参数类型逻辑 2、全新的执行类运行机制，扩充了对基本数据类型的支持 3、执行类方法参数支持一览表如下方法参数 class class Boolean.class boolean.class Character.class Byte.class byte.class Short.class short.class Integer.class int.class Long.class long.class Float.class float.class Double.class double.class BigDecimal.class String.class - jfinal-admin 后台框架 (简称 jAdmin ) 基于JFinal的后台管理系统，采用了简洁强大的JFinal作为web框架，模板引擎用的是beetl，数据库用mysql，前端bootstrap框架。演示地址https://tool.ypiaob.com密码 123456 api文档https://apidoc.gitee.com/supyuan/jfinal-admin/ jfinal 文档https://www.jfinal.com/doc/14-1 beetl 文档http://ibeetl.com/guide/#beetl jetbrainshttps://www.jetbrains.com/?from=jfinal-admin 特色内置用户和权限系统 mysql、oracle等多数据库支持支持引入第三方前端库基于jfinal_cms深度精简集成spring(可选) 菜单权限、功能权限双重保障门户网站（开发中）部署重要说明 3.6及以后的版本需要jdk8及以上环境支撑，需要maven最好用idea部署。登录系统账号 admin/123456 入口在哪里部署后登录地址示例http://localhost:8989/admin/logout注意 8989/ 这里根据实际情况变通例如 8080/jad/

2021-02-05

使用 K8s 进行作业调度实战分享

最近在公司的数据同步项目（以下简称 ZDTP）中，需要使用到分布式调度数据同步执行单元，目前使用的方案是将数据同步执行单元打包成镜像，使用 K8s 进行调度。

2020-08-27

PowerJob 3.2.2 发布，强大的任务调度中间件

PowerJob是全新一代任务调度中间件,能让您轻松完成作业的调度与繁杂任务的分布式计算，其主要功能特性如下：使用简单：提供前端Web界面，允许开发者可视化地完成调度任务的管理（增、删、改、查）、任务运行状态监控和运行日志查看等功能

2020-08-07

PowerJob 3.2.1 发布，强大的任务调度中间件

PowerJob是全新一代任务调度中间件，其主要功能特性如下：使用简单：提供前端Web界面，允许开发者可视化地完成调度任务的管理（增、删、改、查）、任务运行状态监控和运行日志查看等功能。

2020-07-30

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。