云端海量任务调度系统数据库设计 - 阿里云RDS PostgreSQL案例-低调大师

云端海量任务调度系统数据库设计 - 阿里云RDS PostgreSQL案例

2017-07-20 582

背景

任务调度系统中的任务状态管理，通常会用到数据库来存储任务调度的过程状态，控制任务的锁等。

《advisory lock 实现高并发非堵塞式业务锁》

如果是小量任务，是挺好实现的，但是每小时处理几十亿或者几亿的任务，如何设计这样的任务状态管理数据库呢？

挑战

对于一个面向多个用户的任务调度平台（例如云端的任务调度平台，将面向所有租户使用）。

较大的挑战是任务数据的写入（海量），另一个是任务状态的更新（海量，每个任务至少被更新一次）。

云端海量任务调度数据库设计

云端任务调度存在一些特性：

1、用户和用户之间的任务是没有关系的，单个用户的任务在调度时可能有依赖关系。

2、数据量庞大。

3、任务通常都有最终稳定状态，稳定后，对应的任务记录就不会变化了。

针对以上几个特点

微信关注我们

原文链接：https://yq.aliyun.com/articles/137060

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开发者论坛一周精粹(第三期)：淘宝商家专场官方应用--让一个人顶N个人

第三期（2017年3月27日-2017年4月2日) 阳春4月，天气渐暖，电商又迎来一年的新起点，您是否也想抓住这股暖流，向新的一年新的目标不断前行呢？正所谓工欲善其事必先利其器，现在为大家介绍一款阿里巴巴隆重推出的智能自动化SAAS应用平台，码栈。是一款赋能提效利器，帮助商家提升运营效率，节约成本。淘宝商家专场官方应用--让一个人顶N个人作者：码栈重磅，4月佣金奖励增加300%！作者：陈小雄天猫商家专场官方应用--让科技优化效能作者：码栈我中招了？解答人：诸神之怒新手求教香港云服务器没有公网IP怎么办解答人：梦丫头这几天一个北京IP贡献12W的访问量，是真爱or攻击？解答人：龙吟风&jesuiszb 码栈最新教程2.0 发布啦作者：码栈我购买了阿里云windows的服务器，无法进入系统解答人：火蓝云往期精选回顾 ↓↓↓ 论坛一周精粹(第一期)回顾>> 开发者论坛一周精粹(第一期)：Fastjson远程代码执行漏洞论坛一周精粹(第二期)回顾>>开发者论坛一周精粹(第二期):阿里云域名交易平台竞价功能上线公告

2017-07-21

573

摘要: 1. 服务接口定义 /** * 文件上传 1:头像 2：显示图片 3：个人封面 :4：基础图片 * @param request * @param response * @param uid 用户id * @param userType 文件上传 1:头像 2：显示图片 3：个人封面 :4：基础图片 0：视频 * @param files 上传的文件对象 * @return 1. 服务接口定义 /** * 文件上传 1:头像 2：显示图片 3：个人封面 :4：基础图片 *@paramrequest *@paramresponse *@paramuid 用户id *@paramuserType 文件上传 1:头像 2：显示图片 3：个人封面 :4：基础图片 0：视频 *@paramfiles 上传的文件对象 * @return * @throws Exception */ @RequestMapping(value = "/upload/base64Code", method = RequestMethod.POST) public ResponseVO fileuploadBa...

2017-07-21

468

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。