首页 文章 精选 留言 我的

精选列表

搜索[SQL工作台],共10000篇文章
优秀的个人博客,低调大师

SQL Server 多表数据增量获取和发布 2.2

数据库环境: 1、SQLServer 2008R2 2、SQLServer 代理打开 一、新建一个数据库 创建数据库 Incremental_DB image.png 二、创建俩张测试表 数据库脚本链接 --创建用户表 CREATE TABLE [dbo].[Person]( [Id] [INT] IDENTITY(1,1) NOT NULL, [Name] [NVARCHAR](120) NULL, [Age] [INT] NULL, CONSTRAINT [PK_Demo] PRIMARY KEY CLUSTERED ( [Id] ASC )WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] ) ON [PRIMARY] --创建部门表 CREATE TABLE [dbo].[Department]( [Id] [INT] IDENTITY(1,1) NOT NULL, [Name] [NVARCHAR](50) NULL, CONSTRAINT [PK_Department] PRIMARY KEY CLUSTERED ( [Id] ASC )WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] ) ON [PRIMARY] 三、实现数据变更捕获 一、对目标库显式启用CDC USE Incremental_DB GO EXECUTE sys.sp_cdc_enable_db; GO 查看是否启用CDC SELECT is_cdc_enabled,CASE WHE is_cdc_enabled=0 THEN 'CDC功能禁用'ELSE 'CDC功能启用'END [描述] FROM sys.databases WHERE [name]='Incremental_DB' 创建成功后,会在测试库自动添加CDC用户和架构 image.png 二、对目标库数据表显式启用CDC USE Incremental_DB EXECUTE sys.sp_cdc_enable_table @source_schema = N'dbo'--架构名称 , @source_name = N'Department'--表名称 , @role_name = 'cdc_Admin'--会自动生成自定义 'cdc_Admin' 角色 如果不想控制访问角色,则@role_name必须显式设置为null , @capture_instance=NULL EXECUTE sys.sp_cdc_enable_table @source_schema = N'dbo'--架构名称 , @source_name = N'Person'--表名称 , @role_name = 'cdc_Admin'--会自动生成自定义 'cdc_Admin' 角色 如果不想控制访问角色,则@role_name必须显式设置为null , @capture_instance=NULL 语句执行成功后在系统表中生成俩张变化表 新增表.png 数据库可编程性中增加俩个函数 新增函数.png 同时SQLServer 代理中新增俩个作业 capture(捕获作业) clean(清理作业) 新增作业.png 如果出现如下错误,请参考上一篇文章CDC注意事项第三点 image.png 验证数据表是否启用CDC USE Incremental_DB --查看是否已启用: SELECT name , is_tracked_by_cdc , CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用' ELSE 'CDC功能启用' END 描述 FROM sys.tables WHERE OBJECT_ID IN(OBJECT_ID('Person'),OBJECT_ID('Department')) 四、禁用数据库或数据表CDC功能 禁用数据表CDC --禁用人员表CDC功能 EXECUTE sys.sp_cdc_disable_table @source_schema = N'dbo', @source_name = N'Person', @capture_instance = 'dbo_Person' 禁用后系统表中原来的dbo_Person_CT表被删除,函数删除等 禁用后系统表截图.png 禁用数据库CDC EXEC sys.sp_cdc_disable_db

优秀的个人博客,低调大师

SQL Server 多表数据增量获取和发布 2.3

一、验证DML SELECT COUNT(1) AS '原总行数' FROM dbo.Person /* 原总行数 0 */ --1. Insert 插入5条数据 INSERT INTO Department( Name ) VALUES ('部门0000000009') GO 5 --2. Update UPDATE Department SET Name = substring(Name,0,10)+'_Update' --3. Delete DELETE FROM Department WHERE id>4 --查看捕获到的数据变更信息 SELECT * FROM cdc.dbo_Department_CT 列名 数据类型 说明 __$start_lsn binary(10) 更改提交的LSN。在同一事务中提交的更改将共享同一个提交 LSN 值。 __$seqval binary(10) 一个事务内可能有多个更改发生,这个值用于对它们进行排序。 __$operation Int 更改操作的类型:1 = 删除2 = 插入3 = 更新(捕获的列值是执行更新操作前的值)。4 = 更新(捕获的列值是执行更新操作后的值)。 __$update_mask varbinary(128) 位掩码,源表中被CDC跟踪的每一列对应一个位。如果__operation = 3 或 4,则只有那些对应已更改列的位设置为 1。 image.png 二、验证DDL ALTER TABLE dbo.Department ADD remark NVARCHAR(20) NOT NULL DEFAULT(0) image.png 三、相关脚本 --1. 返回所有表的变更捕获配置信息 EXECUTE sys.sp_cdc_help_change_data_capture; --2. 查看对某个实例(即表)的哪些列做了捕获监控: EXEC sys.sp_cdc_get_captured_columns @capture_instance='dbo_Department' --3. 查找配置信息: SELECT * FROM msdb.dbo.cdc_jobs image.png --4. 查看配置 EXEC sp_cdc_help_jobs image.png --5. -------------------- 修改配置 ---------------------- --显示原有配置: EXEC sp_cdc_help_jobs GO --更改数据保留时间为24*60分钟 (默认4320) EXECUTE sys.sp_cdc_change_job @job_type = N'cleanup', @retention=1440 GO --停用作业 EXEC sys.sp_cdc_stop_job N'cleanup' GO --启用作业 EXEC sys.sp_cdc_start_job N'cleanup' GO --再次查看 EXEC sp_cdc_help_jobs GO image.png --7. 最近进行的会话的平均滞后时间 SELECT latency FROM sys.dm_cdc_log_scan_sessions WHERE session_id = 0 --8. 最近会话的平均吞吐量 ( 每个会话期间每秒处理的平均命令数 ) SELECT command_count/duration AS [Throughput] FROM sys.dm_cdc_log_scan_sessions WHERE session_id = 0 --9. 使用 sys.fn_cdc_map_lsn_to_time 函数.( Sys.fn_cdc_map_time_to_lsn 略 ) SELECT [__$operation] , CASE [__$operation] WHEN 1 THEN '删除' WHEN 2 THEN '插入' WHEN 3 THEN '更新(捕获的列值是执行更新操作前的值)' WHEN 4 THEN '更新(捕获的列值是执行更新操作后的值)' END [类型], sys.fn_cdc_map_lsn_to_time([__$start_lsn]) [更改时间] , * FROM cdc.dbo_Department_CT image.png --10.按照时间范围查询CDC结果 DECLARE @from_lsn BINARY(10),@end_lsn BINARY(10) DECLARE @start_time DATETIME = '2018-08-01' DECLARE @end_time DATETIME ='2018-08-30' SELECT @from_lsn=sys.fn_cdc_map_time_to_lsn('smallest greater than or equal',@start_time) SELECT @end_lsn=sys.fn_cdc_map_time_to_lsn(' largest less than or equal',@end_time) SELECT * FROM cdc.fn_cdc_get_all_changes_dbo_Department(@from_lsn,@end_lsn,'all') image.png

优秀的个人博客,低调大师

Flink SQL 功能解密系列 -- Aysnc I/O

背景 Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性,于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。 流计算系统中经常需要与外部系统进行交互,比如需要查询外部数据库以关联上用户的额外信息。通常,我们的实现方式是向数据库发送用户a的查询请求,然后等待结果返回,在这之前,我们无法发送用户b的查询请求。这是一种同步访问的模式,如下图左边所示。 图中棕色的长条表示等待时间,可以发现网络等待时间极大地阻碍了吞吐和延迟。为了解决同步访问的问题,异步模式可以并发地处理多个请求和回复。也就是说,你可以连续地向数据库发送用户a、b、c等的请求,与此同时,哪个请求的回复先返回了就处理哪个回复,从而连续的请求之间不需要阻塞等待,如上图右边所示。这也正是 Async I/O 的实现原理。 Async I/O 使用

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册