SQL Server 多表数据增量获取和发布 3
程序结构
新建一个窗体应用程序,新增三个类库,实现各个层次责任分离
- BLL 业务逻辑层
- Common 公共帮助类层
- Models 模型层
- SqlMonitoring SQL监视器程序
程序设计思路
大概的设计思路是这样的:
1、因为是多表数据增量获取,首先通过配置CDC已经完成多表的捕获配置。
通过CDC实现了数据的捕获,我们需要开一个服务,循环读取捕获表的内容(通过时间戳字段),因为使用时间戳,所以需要对每次的时间进行保存,方便下一次获取数据区间做判断条件。
因此设计一张数据表时间戳记录表,数据结构如下
时间记录表数据结构
主键,架构名,表名称,上次更新时间
2、根据时间戳循环读取多表数据,将数据放入队列中。
3、在开启一个服务,循环读取队列里面的数据,为了保证数据有效性,将队列中的数据传送给服务接口的时候还要再本地同时进行备份的保存,只有当数据服务返回正确值得时候,更改日志表的状态位。
日志记录表数据结构
主键,时间节点,序列化数据,状态位
重点
如果需要更新状态位,那么需要一个标识位来判断,那么这个标识位是什么。大家可以猜一猜,答案就是UpdateTime字段。
数据库CDC数据捕获的时间精确到毫秒三位,可以保证一般系统数据唯一性,队列中存在当前字段,将当前字段作为标识来更新日志记录表的状态位。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
英特尔将整合芯片功能,或将弯道超车AMD?
英特尔作为半导体行业的龙头老大,在过去几面临的市场环境越来越困难,一方面在AI计算领域持续被NVIDIA所压制,另一方面,在传统CPU市场,AMD的咸鱼翻身更是给其带来产品冲击,近3年来,英特尔两次延迟推出10nm芯片制程让AMD有了制程反超机会,纵观过去10年,英特尔一直处于领先地位,此次AMD借助台积电和GF的7nm制程,在今年年底将大规模投产新一代CPU,给予AMD提前一年的时间大量抢夺Intel市场份额,导致英特尔的产品布局不断更改。 对于多方夹击,英特尔不可能坐以待毙,其改变传统战略,在今年在美国Hot Chips大会上,英特尔就在芯片封装技术上提出了全新的概念,那就是可以无视材料、工业差别,将多种芯片架构堆积在同一封装之中。这种想法确实令人惊奇,他们将用EMIB方式串联起那些小芯片,概念上类似于过去的平面芯片IP库,芯片库包含了很多部件,工程师设计了通用接口,这样就能调整芯片的异构,整体性能和单芯片没有太大差别。其实早在2014年,英特尔就推出了EMIB技术,当初英特尔负责人称其功能可以和 2.5D堆叠技术相比,但成本很低,远低于传统2.5D甚至3D封装技术,原因在于芯片连...
- 下一篇
袋鼠云数据中台专栏(六):企业数据指标的那些事儿
本文作者:子玺 袋鼠云数据中台解决方案专家。拥有近10年大数据从业经验,拥有PMP项目管理资格认证,精通数据类项目的开发实施和管理。曾服务过国家工商总局、北京市工商局、北京市财政局、广州开发区大数据局、平湖人社局、海盐人社局等行政单位,担任多个大型数据项目的数据应用咨询顾问/项目经理。 一、企业指标体系的重要性不言而喻 在我们谈论指标之前,先将时间倒推几十年,现代管理学之父彼得·德鲁克说过一句很经典的话:如果你不能衡量它,那么你就不能有效增长它。所谓衡量,就是需要统一标准来定义和评价业务,这个标准就是指标。 一个企业的生产、运营离不开指标,它的重要性不言而喻,我们这里就不再讨论了,接下来,我们主要看一看企业发展过程中与数据及数据指标有关的那些事。 二、从全局角度看,企业数据指标体系可能存在一些问题 全局总览下来,不同部门利用数据指标的水平和标准参差不齐 因基础数据问题,缺失某些重要指标,想看的指标看不到 混乱的数据基础制约了探索性分析,对新业务开展支持力度有限 …… 我们想象数据指标就像是企业发展的“记牌器”,是衡量企业/业务发展健康程度的重要存在,那么如何解决上述问题,用好这个记牌器...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果