云端海量任务调度系统数据库设计 - 阿里云RDS PostgreSQL案例-低调大师

云端海量任务调度系统数据库设计 - 阿里云RDS PostgreSQL案例

2017-07-20 630

背景

任务调度系统中的任务状态管理，通常会用到数据库来存储任务调度的过程状态，控制任务的锁等。

《advisory lock 实现高并发非堵塞式业务锁》

如果是小量任务，是挺好实现的，但是每小时处理几十亿或者几亿的任务，如何设计这样的任务状态管理数据库呢？

挑战

对于一个面向多个用户的任务调度平台（例如云端的任务调度平台，将面向所有租户使用）。

较大的挑战是任务数据的写入（海量），另一个是任务状态的更新（海量，每个任务至少被更新一次）。

云端海量任务调度数据库设计

云端任务调度存在一些特性：

1、用户和用户之间的任务是没有关系的，单个用户的任务在调度时可能有依赖关系。

2、数据量庞大。

3、任务通常都有最终稳定状态，稳定后，对应的任务记录就不会变化了。

针对以上几个特点

微信关注我们

原文链接：https://yq.aliyun.com/articles/137060

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开发者论坛一周精粹(第三期)：淘宝商家专场官方应用--让一个人顶N个人

第三期（2017年3月27日-2017年4月2日) 阳春4月，天气渐暖，电商又迎来一年的新起点，您是否也想抓住这股暖流，向新的一年新的目标不断前行呢？正所谓工欲善其事必先利其器，现在为大家介绍一款阿里巴巴隆重推出的智能自动化SAAS应用平台，码栈。是一款赋能提效利器，帮助商家提升运营效率，节约成本。淘宝商家专场官方应用--让一个人顶N个人作者：码栈重磅，4月佣金奖励增加300%！作者：陈小雄天猫商家专场官方应用--让科技优化效能作者：码栈我中招了？解答人：诸神之怒新手求教香港云服务器没有公网IP怎么办解答人：梦丫头这几天一个北京IP贡献12W的访问量，是真爱or攻击？解答人：龙吟风&jesuiszb 码栈最新教程2.0 发布啦作者：码栈我购买了阿里云windows的服务器，无法进入系统解答人：火蓝云往期精选回顾 ↓↓↓ 论坛一周精粹(第一期)回顾>> 开发者论坛一周精粹(第一期)：Fastjson远程代码执行漏洞论坛一周精粹(第二期)回顾>>开发者论坛一周精粹(第二期):阿里云域名交易平台竞价功能上线公告

2017-07-20

627

摘要: 1. 服务接口定义 /** * 文件上传 1:头像 2：显示图片 3：个人封面 :4：基础图片 * @param request * @param response * @param uid 用户id * @param userType 文件上传 1:头像 2：显示图片 3：个人封面 :4：基础图片 0：视频 * @param files 上传的文件对象 * @return 1. 服务接口定义 /** * 文件上传 1:头像 2：显示图片 3：个人封面 :4：基础图片 *@paramrequest *@paramresponse *@paramuid 用户id *@paramuserType 文件上传 1:头像 2：显示图片 3：个人封面 :4：基础图片 0：视频 *@paramfiles 上传的文件对象 * @return * @throws Exception */ @RequestMapping(value = "/upload/base64Code", method = RequestMethod.POST) public ResponseVO fileuploadBa...

2017-07-20

520

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。