首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/673705

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

任务扫描的架构设计

任务扫描的架构设计 一、闲言 做业务系统的时候,遇到过太多次从db中扫描任务处理的需求,数据量,从每天几百上千条到上百万条不等,所以这次聊聊在不同场景中,应该如何设计次系统才能尽可能的降低开发工作量,提升系统稳定性、实时性,同时能够在中长期支持起业务的发展。 二、场景 做业务系统开发的时候经常会遇到以下场景: l 运营同学需要给某一批用户发送一些优惠券、提醒。 l 升级系统后需要对历史用户的数据进行订正。 l 任务处理失败了,希望后续能重试此任务。 l 任务不是立即执行,而是需要在未来的某个时刻执行。 l 任务是耗时任务,实时执行失败可能性比较大,而且会影响其他业务的进行,所以线持久化下来,后续慢慢执行。 l …… 具体到代码层面,就是DB中有一批需要处理的任务,系统需要取出这些任务,然后处理掉。 三、要点 这个问题看似很简单,但是在做架构设计的时候有以下几种情况需要仔细考虑: l 有些任务实时性要求很高,如何保证实时性,让任务尽可能在预期的时间点上执行。 l 如何保证公平性;每个任务都应该拥有尽可能公平的执行机会,不能因为部分任务占用系统资源,而导致其他任务阻塞,没有执行机会。 l ...

TPC-H测试 - PostgreSQL 10 vs Deepgreen(Greenplum)

标签 PostgreSQL , Deepgreen , Greenplum 背景 通常一家企业除了有在线业务处理的数据库、也会有数据分析型的数据库。 很长一段时间以来,数据库产品也是分场景设计的,例如MySQL就是非常典型的TP型数据库。Greenplum则是非常典型的AP型数据库。 Oracle介于两者之间,具备典型TP型数据库的能力,同时还具备小型的数据分析的能力(例如通过并行查询提升计算能力,通过分析型SQL语法支持分析功能,通过大量的分析函数、窗口函数支持计算逻辑)。当数据量特别庞大时,还是典型的AP更加擅长(例如Greenplum)。 目前除了商业数据库具备了TP+小型AP的能力,开源数据库也在往这块发展。 开源数据库的TP+AP也分为两个阵营:一个是中间件阵营,一个是数据库阵营。 1、中间件阵营,中间件不存数据,仅仅作为SQL解析、用

相关文章

发表评论

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册