首页 文章 精选 留言 我的

精选列表

搜索[sql server],共10020篇文章
优秀的个人博客,低调大师

SQL Server 多表数据增量获取和发布 2.2

数据库环境: 1、SQLServer 2008R2 2、SQLServer 代理打开 一、新建一个数据库 创建数据库 Incremental_DB image.png 二、创建俩张测试表 数据库脚本链接 --创建用户表 CREATE TABLE [dbo].[Person]( [Id] [INT] IDENTITY(1,1) NOT NULL, [Name] [NVARCHAR](120) NULL, [Age] [INT] NULL, CONSTRAINT [PK_Demo] PRIMARY KEY CLUSTERED ( [Id] ASC )WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] ) ON [PRIMARY] --创建部门表 CREATE TABLE [dbo].[Department]( [Id] [INT] IDENTITY(1,1) NOT NULL, [Name] [NVARCHAR](50) NULL, CONSTRAINT [PK_Department] PRIMARY KEY CLUSTERED ( [Id] ASC )WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] ) ON [PRIMARY] 三、实现数据变更捕获 一、对目标库显式启用CDC USE Incremental_DB GO EXECUTE sys.sp_cdc_enable_db; GO 查看是否启用CDC SELECT is_cdc_enabled,CASE WHE is_cdc_enabled=0 THEN 'CDC功能禁用'ELSE 'CDC功能启用'END [描述] FROM sys.databases WHERE [name]='Incremental_DB' 创建成功后,会在测试库自动添加CDC用户和架构 image.png 二、对目标库数据表显式启用CDC USE Incremental_DB EXECUTE sys.sp_cdc_enable_table @source_schema = N'dbo'--架构名称 , @source_name = N'Department'--表名称 , @role_name = 'cdc_Admin'--会自动生成自定义 'cdc_Admin' 角色 如果不想控制访问角色,则@role_name必须显式设置为null , @capture_instance=NULL EXECUTE sys.sp_cdc_enable_table @source_schema = N'dbo'--架构名称 , @source_name = N'Person'--表名称 , @role_name = 'cdc_Admin'--会自动生成自定义 'cdc_Admin' 角色 如果不想控制访问角色,则@role_name必须显式设置为null , @capture_instance=NULL 语句执行成功后在系统表中生成俩张变化表 新增表.png 数据库可编程性中增加俩个函数 新增函数.png 同时SQLServer 代理中新增俩个作业 capture(捕获作业) clean(清理作业) 新增作业.png 如果出现如下错误,请参考上一篇文章CDC注意事项第三点 image.png 验证数据表是否启用CDC USE Incremental_DB --查看是否已启用: SELECT name , is_tracked_by_cdc , CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用' ELSE 'CDC功能启用' END 描述 FROM sys.tables WHERE OBJECT_ID IN(OBJECT_ID('Person'),OBJECT_ID('Department')) 四、禁用数据库或数据表CDC功能 禁用数据表CDC --禁用人员表CDC功能 EXECUTE sys.sp_cdc_disable_table @source_schema = N'dbo', @source_name = N'Person', @capture_instance = 'dbo_Person' 禁用后系统表中原来的dbo_Person_CT表被删除,函数删除等 禁用后系统表截图.png 禁用数据库CDC EXEC sys.sp_cdc_disable_db

优秀的个人博客,低调大师

SQL Server 多表数据增量获取和发布 2.3

一、验证DML SELECT COUNT(1) AS '原总行数' FROM dbo.Person /* 原总行数 0 */ --1. Insert 插入5条数据 INSERT INTO Department( Name ) VALUES ('部门0000000009') GO 5 --2. Update UPDATE Department SET Name = substring(Name,0,10)+'_Update' --3. Delete DELETE FROM Department WHERE id>4 --查看捕获到的数据变更信息 SELECT * FROM cdc.dbo_Department_CT 列名 数据类型 说明 __$start_lsn binary(10) 更改提交的LSN。在同一事务中提交的更改将共享同一个提交 LSN 值。 __$seqval binary(10) 一个事务内可能有多个更改发生,这个值用于对它们进行排序。 __$operation Int 更改操作的类型:1 = 删除2 = 插入3 = 更新(捕获的列值是执行更新操作前的值)。4 = 更新(捕获的列值是执行更新操作后的值)。 __$update_mask varbinary(128) 位掩码,源表中被CDC跟踪的每一列对应一个位。如果__operation = 3 或 4,则只有那些对应已更改列的位设置为 1。 image.png 二、验证DDL ALTER TABLE dbo.Department ADD remark NVARCHAR(20) NOT NULL DEFAULT(0) image.png 三、相关脚本 --1. 返回所有表的变更捕获配置信息 EXECUTE sys.sp_cdc_help_change_data_capture; --2. 查看对某个实例(即表)的哪些列做了捕获监控: EXEC sys.sp_cdc_get_captured_columns @capture_instance='dbo_Department' --3. 查找配置信息: SELECT * FROM msdb.dbo.cdc_jobs image.png --4. 查看配置 EXEC sp_cdc_help_jobs image.png --5. -------------------- 修改配置 ---------------------- --显示原有配置: EXEC sp_cdc_help_jobs GO --更改数据保留时间为24*60分钟 (默认4320) EXECUTE sys.sp_cdc_change_job @job_type = N'cleanup', @retention=1440 GO --停用作业 EXEC sys.sp_cdc_stop_job N'cleanup' GO --启用作业 EXEC sys.sp_cdc_start_job N'cleanup' GO --再次查看 EXEC sp_cdc_help_jobs GO image.png --7. 最近进行的会话的平均滞后时间 SELECT latency FROM sys.dm_cdc_log_scan_sessions WHERE session_id = 0 --8. 最近会话的平均吞吐量 ( 每个会话期间每秒处理的平均命令数 ) SELECT command_count/duration AS [Throughput] FROM sys.dm_cdc_log_scan_sessions WHERE session_id = 0 --9. 使用 sys.fn_cdc_map_lsn_to_time 函数.( Sys.fn_cdc_map_time_to_lsn 略 ) SELECT [__$operation] , CASE [__$operation] WHEN 1 THEN '删除' WHEN 2 THEN '插入' WHEN 3 THEN '更新(捕获的列值是执行更新操作前的值)' WHEN 4 THEN '更新(捕获的列值是执行更新操作后的值)' END [类型], sys.fn_cdc_map_lsn_to_time([__$start_lsn]) [更改时间] , * FROM cdc.dbo_Department_CT image.png --10.按照时间范围查询CDC结果 DECLARE @from_lsn BINARY(10),@end_lsn BINARY(10) DECLARE @start_time DATETIME = '2018-08-01' DECLARE @end_time DATETIME ='2018-08-30' SELECT @from_lsn=sys.fn_cdc_map_time_to_lsn('smallest greater than or equal',@start_time) SELECT @end_lsn=sys.fn_cdc_map_time_to_lsn(' largest less than or equal',@end_time) SELECT * FROM cdc.fn_cdc_get_all_changes_dbo_Department(@from_lsn,@end_lsn,'all') image.png

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册