首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/673705

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

任务扫描的架构设计

任务扫描的架构设计 一、闲言 做业务系统的时候,遇到过太多次从db中扫描任务处理的需求,数据量,从每天几百上千条到上百万条不等,所以这次聊聊在不同场景中,应该如何设计次系统才能尽可能的降低开发工作量,提升系统稳定性、实时性,同时能够在中长期支持起业务的发展。 二、场景 做业务系统开发的时候经常会遇到以下场景: l 运营同学需要给某一批用户发送一些优惠券、提醒。 l 升级系统后需要对历史用户的数据进行订正。 l 任务处理失败了,希望后续能重试此任务。 l 任务不是立即执行,而是需要在未来的某个时刻执行。 l 任务是耗时任务,实时执行失败可能性比较大,而且会影响其他业务的进行,所以线持久化下来,后续慢慢执行。 l …… 具体到代码层面,就是DB中有一批需要处理的任务,系统需要取出这些任务,然后处理掉。 三、要点 这个问题看似很简单,但是在做架构设计的时候有以下几种情况需要仔细考虑: l 有些任务实时性要求很高,如何保证实时性,让任务尽可能在预期的时间点上执行。 l 如何保证公平性;每个任务都应该拥有尽可能公平的执行机会,不能因为部分任务占用系统资源,而导致其他任务阻塞,没有执行机会。 l ...

TPC-H测试 - PostgreSQL 10 vs Deepgreen(Greenplum)

标签 PostgreSQL , Deepgreen , Greenplum 背景 通常一家企业除了有在线业务处理的数据库、也会有数据分析型的数据库。 很长一段时间以来,数据库产品也是分场景设计的,例如MySQL就是非常典型的TP型数据库。Greenplum则是非常典型的AP型数据库。 Oracle介于两者之间,具备典型TP型数据库的能力,同时还具备小型的数据分析的能力(例如通过并行查询提升计算能力,通过分析型SQL语法支持分析功能,通过大量的分析函数、窗口函数支持计算逻辑)。当数据量特别庞大时,还是典型的AP更加擅长(例如Greenplum)。 目前除了商业数据库具备了TP+小型AP的能力,开源数据库也在往这块发展。 开源数据库的TP+AP也分为两个阵营:一个是中间件阵营,一个是数据库阵营。 1、中间件阵营,中间件不存数据,仅仅作为SQL解析、用

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册