首页 文章 精选 留言 我的

精选列表

搜索[数据库连接池],共10000篇文章
优秀的个人博客,低调大师

TiDB 4.0.14 发布,分布式 NewSQL 数据库

TiDB 4.0.14现已发布,该版本具体更新内容如下: 兼容性更改 TiDB 在 v4.0 中将tidb_multi_statement_mode的默认值从WARN更改为OFF。建议使用客户端库的多语句功能,参考tidb_multi_statement_mode文档。#25749 将 Grafana 从 v6.1.16 升级到 v7.5.7 以解决两个安全漏洞,参考Grafana 博文。 将系统变量tidb_stmt_summary_max_stmt_count的默认值从200修改为3000#25872 TiKV 将merge-check-tick-interval配置项的默认值从10修改为2以加快 Region 合并的速度#9676 功能增强 TiKV 添加监控项pending用以监控 pending PD 心跳,帮助定位 PD 线程变慢的问题#10008 支持 virtual-host 风格的地址来让 BR 兼容类 S3 储存#10242 TiDB Dashboard 新增 OIDC SSO 支持。通过设置兼容 OIDC 标准的 SSO 服务(例如 Okta、Auth0 等),用户可以在不输入 SQL 密码的情况下登录 TiDB Dashboard#960 新增Debug API界面用于高级调试,通过该界面可以替代命令行方式来调用 TiDB 和 PD 的内部调试性 API#927 改进提升 TiDB 对于point get或batch point get算子,在唯一索引写入过程中,将悲观锁LOCK记录转化为PUT记录#26223 支持 MySQL 的系统变量init_connect及其相关功能#26031 支持稳定结果模式,使查询结果更稳定#26003 支持将函数json_unquote()下推到 TiKV#25721 使 SQL 计划管理 (SPM) 不受字符集的影响#23295 TiKV 关闭 TiKV 时,优先关闭 status server 来确保客户端可以正确检测关闭状态#10504 响应过期副本的消息,以确保过期副本被更快清除#10400 限制 TiCDC sink 的内存消耗#10147 当 Region 太大时,使用均匀分裂来加快分裂速度#10275 PD 减少各调度器在同时工作时产生的冲突#3854 TiDB Dashboard 更新 TiDB Dashboard 版本至 v2021.07.17.1#3882 支持将当前会话分享为只读的会话,禁止对分享的会话进行修改操作#960 Tools Backup & Restore (BR) 恢复数据时合并小文件以提升恢复速度#655 Dumpling 上游是 TiDB v3.x 集群时,使用_tidb_rowid来切分表以减少 TiDB 的内存使用#306 TiCDC 优化 PD 节点缺失证书时的报错信息#2184 优化 sorter I/O 报错信息#1976 在 KV client 中新增 Region 增量扫描的并发度上限,减小 TiKV 的压力#1926 新增表内存使用量的监控项#1884 新增 TiCDC 服务端配置项capture-session-ttl#2169 Bug 修复 TiDB 修复当连接一个带WHERE条件的子查询(值为false)时SELECT的结果与 MySQL 不兼容的问题#24865 修复当参数是ENUM或SET类型时ifnull函数计算错误的问题#24944 修复某些情况下错误的聚合函数消除#25202 修复 Merge Join 运算中当列为SET类型时可能产生错误结果的问题#25669 修复 Cartesian Join 运算返回错误结果的问题#25591 修复SELECT ... FOR UPDATE语句进行连接运算且连接使用分区表时,可能产生异常退出情况的问题#20028 修复缓存的prepared计划被错误用于point get的问题#24741 修复LOAD DATA语句可以不正常导入非 utf8 数据的问题#25979 修复通过 HTTP API 访问统计信息时,可能导致内存泄露的问题#24650 修复执行ALTER USER语句时出现的安全性问题#25225 修复系统表TIKV_REGION_PEERS不能正确处理DOWN状态的问题#24879 修复解析DateTime时不截断非法字符串的问题#22231 修复select into outfile语句在列类型是YEAR时,可能无法产生结果的问题#22159 修复UNION子查询中出现NULL时可能导致查询结果出错的问题#26532 修复某些情况下投影算子在执行时可能造成 panic 的问题#26534 TiKV 修复特定平台上的 duration 计算可能崩溃的问题#related-issue 修复将DOUBLE类型转换为DOUBLE的错误函数#25200 修复使用 async logger 时 panic 日志可能会丢失的问题#8998 修复开启加密后再次生成同样的 snapshot 会出现 panic 的问题#9786#10407 修复 coprocessor 中json_unquote()函数错误的参数类型#10176 修复关机期间出现的可疑警告和来自 Raftstore 的非确定性响应#10353#10307 修复备份线程泄漏的问题#10287 修复 Region split 过慢以及进行 Region merge 时,Region split 可能会损坏 metadata 的问题#8456#8783 修复特定情况下 Region 心跳会导致 TiKV 不进行 split 的问题#10111 修复 TiKV 和 TiDB 间 CM Sketch 格式不一致导致统计信息错误问题#25638 修复apply wait duration指标的错误统计#9893 修复使用 Titan 时delete_files_in_range以后可能会产生 "Missing Blob" 报错的问题#10232 PD 修复调度器在执行删除操作后可能再次出现的问题#2572 修复调度器在临时配置加载完毕前启动可能导致数据争用的问题#3771 修复打散 Region 操作可能导致 PD panic 的问题#3761 修复部分 Operator 未被正确设置优先级的问题#3703 修复从不存在的 Store 上删除evict-leader调度器时可能导致 PD panic 的问题#3660 修复了当集群内 Store 非常多时,PD 切换 Leader 慢的问题#3697 TiDB Dashboard 修复实例性能分析界面无法获取全部 TiDB 实例信息的问题#944 修复 SQL 语句分析界面不显示执行“计划数”的问题#939 修复在升级集群后慢查询界面可能显示 "unknown field" 错误的问题#902 TiFlash 修复编译 DAG 请求时出现进程崩溃的潜在问题 修复读负载高的情况下进程崩溃的问题 修复因列存中 split 失败导致 TiFlash 不断重启的问题 修复无法删除 Delta 历史数据的潜在问题 修复并发复制共享 Delta 索引导致结果错误的问题 修复当数据缺失时 TiFlash 无法重启的问题 修复旧的 dm 文件无法被自动清理的问题 修复SUBSTRING函数包含特殊参数时引起进程崩溃的潜在问题 修复将INT类型转换为TIME类型时产生错误结果的问题 Tools Backup & Restore (BR) 修复不能恢复mysql库内的用户表的问题#1142 TiDB Lightning 修复 TiDB Lightning 解析 Parquet 文件中DECIMAL类型数据失败的问题#1276 修复 TiDB Lightning 导入大文件拆分时遇到的 EOF 报错问题#1133 修复 TiDB Lightning 导入含auto_increment的DOUBLE或FLOAT类型列的表时生成极大 base 值的问题#1185 修复在生成超过 4 GB 的 KV 数据时可能发生的 panic 问题#1128 Dumpling 使用 Dumpling 导出至 S3 存储时,不再要求s3:ListBucket权限覆盖整个 Bucket,只需要覆盖导出的前缀即可#898 TiCDC 修复分区表新增分区后的处理#2205 修复 TiCDC 无法读取/proc/meminfo导致崩溃的问题#2023 减少 TiCDC 运行时的内存使用#2011#1957 修复 MySQL sink 遇到错误或暂停时,MySQL 连接会泄漏的问题#1945 修复当 start TS 小于 current TS 减去 GC TTL 时无法创建 TiCDC changefeed 的问题#1839 减少 sort heap 的内存malloc,以降低 CPU 开销#1853 修复调度数据表时可能发生的同步终止问题#1827 更新说明:https://docs.pingcap.com/zh/tidb/stable/release-4.0.14

优秀的个人博客,低调大师

TiDB 5.0.3 发布,分布式 NewSQL 数据库

TiDB 5.0.3 现已发布,该版本具体更新内容如下: 兼容性更改 TiDB v4.0 集群升级到 v5.0 或更高版本(dev 和 v5.1)的集群后,tidb_multi_statement_mode变量的默认值由WARN变为OFF 兼容 MySQL 5.7 的 noop 变量innodb_default_row_format,配置此变量无实际效果#23541 功能增强 Tools TiCDC 增加 HTTP API 获取 TiCDC changefeed 信息和节点健康信息#1955 为 kafka 下游增加 SASL/SCRAM 支持#1942 使 TiCDC 在 server 级别支持--data-dir配置#2070 提升改进 TiDB 支持将TopN算子下推到 TiFlash#25162 支持将内置函数json_unquote()下推到 TiKV#24415 支持在 Dual 表上移除Union算子的优化#25614 支持将内置函数replace()下推到 TiFlash#25565 支持将内置函数unix_timestamp()、concat()、year()、day()、datediff()、datesub()、concat_ws()下推到 TiFlash#25564 优化聚合算子的代价常数#25241 支持将Limit算子下推到 TiFlash#25159 支持将内置函数str_to_date()下推到 TiFlash#25148 允许 MPP outer join 根据表行数选择构建表#25142 支持将内置函数left()、right()、abs()下推到 TiFlash#25133 支持将 Broadcast Cartesian Join 下推到 TiFlash#25106 支持将Union All算子下推到 TiFlash#25051 支持 MPP 查询任务按 Region 均衡到不同 TiFlash 节点上#24724 支持执行 MPP 查询后将缓存中过时的 Region 无效化#24432 提升内置函数str_to_date在格式指定器中%b/%M/%r/%T的 MySQL 兼容性#25767 TiKV 限制 TiCDC sink 的内存消耗#10305 为 TiCDC old value 缓存增加基于内存使用量的上限#10313 PD 将 TiDB Dashboard 升级至 v2021.06.15.1#3798 TiFlash 支持将STRING类型转换为DOUBLE类型 支持STR_TO_DATE()函数 通过多线程优化右外连接中的非连接数据 支持笛卡尔积 Join 支持LEFT()和RIGHT()函数 支持在 MPP 查询中自动清理过期的 Region 信息 支持ABS()函数 Tools TiCDC 优化 gRPC 的重连逻辑,提升 KV client 的吞吐#1586#1501#1682#1393#1847#1905#1904 优化 sorter I/O 报错信息 Bug 修复 TiDB 修复在SET类型列上 Merge Join 结果不正确的问题#25669 修复IN表达式参数的数据腐蚀问题#25591 避免 GC 的 session 受全局变量的影响#24976 修复了在窗口函数查询中使用Limit时出现 panic 问题#25344 修复查询分区表时使用Limit返回错误值的问题#24636 修复了IFNULL在ENUM或SET类型上不能正确生效的问题#24944 修复了 Join 子查询中的count被改写为first_row导致结果不正确的问题#24865 修复了TopN算子下使用ParallelApply查询时卡住的问题#24930 修复了使用含有多列的前缀索引查询时出现多余结果的问题#24356 修复了操作符<=>不能正确生效的问题#24477 修复并行Apply算子的数据竞争问题#23280 修复对 PartitionUnion 算子的 IndexMerge 结果排序时出现index out of range错误#23919 修复tidb_snapshot被允许设置为非预期的过大值,而可能造成事务隔离性被破坏的问题25680 修复 ODBC 类常数(例如{d '2020-01-01'})不能被用作表达式的问题#25531 修复SELECT DISTINCT被转化为 Batch Get 而导致结果不正确的问题#25320 修复无法触发将查询从 TiFlash 回退到 TiKV 的问题#23665#24421 修复在检查only_full_group_by时的index-out-of-range错误#23839 修复关联子查询中 Index Join 的结果不正确问题#25799 TiKV 修复错误的tikv_raftstore_hibernated_peer_state监控指标#10330 修复 coprocessor 中json_unquote()函数错误的参数类型#10176 正常关机时跳过清理 Raftstore 的回调从而避免在某些情况下破坏事务的 ACID#10353#10307 修复在 Leader 上 Replica Read 共享 Read Index 的问题#10347 修复 coprocessor 转换DOUBLE到DOUBLE的错误函数#25200 PD 修复在 scheduler 启动之后,加载 TTL 配置产生的数据竞争问题#3771 修复is_learner字段在 TiDB 的TIKV_REGION_PEERS表中显示异常的问题#3372#24293 修复在一个 zone 内所有 TiKV 节点下线或宕机的情况下,PD 不往其他 zone 调度数据的问题#3705 修复在添加 scatter range 调度器后导致 PD 挂掉的问题#3762 TiFlash 修复因 split 失败而不断重启的问题 修复无法删除 Delta 历史数据的潜在问题 修复在CAST函数中为非二进制字符串填充错误数据的问题 修复处理包含复杂GROUP BY列的聚合查询时结果不正确的问题 修复写入压力过大时出现进程崩溃的问题 修复右连接键不为空且左连接键可为空时进程崩溃的问题 修复read-index请求耗时长的潜在问题 修复读负载高的情况下进程崩溃的问题 修复Date_Format函数在参数类型为STRING且包含NULL值时可能导致 TiFlash server 崩溃的问题 Tools TiCDC 修复 TiCDC owner 在刷新 checkpoint 时异常退出的问题#1902 修复写 MySQL 下游出错暂停时 MySQL 连接泄漏的问题#1946 修复 TiCDC 读取/proc/meminfo失败时出现的 panic 问题#2024 减少 TiCDC 运行时的内存使用#2012#1958 修复 resolved ts 计算慢导致 TiCDC panic 的问题#1576 修复 processor 潜在的死锁问题#2142 Backup & Restore (BR) 修复 BR 恢复中忽略了所有系统表的问题#1197#1201 修复在 Backup & Restore 数据恢复期间开启 TDE 会报出文件已存在的错误#1179 TiDB Lightning 修复 TiDB Lightning 在特殊数据下 panic 的问题#1213 修复 TiDB Lightning 导入大文件拆分时遇到的 EOF 报错问题#1133 修复 TiDB Lightning 导入含auto_increment的DOUBLE或FLOAT类型列的表时生成极大 base 值的问题#1186 修复 TiDB Lightning 解析 Parquet 文件中DECIMAL类型数据失败的问题#1277 更新说明: https://docs.pingcap.com/zh/tidb/v5.1/release-5.0.3

优秀的个人博客,低调大师

TiDB 5.1 发布,分布式 NewSQL 数据库

TiDB 5.1现已发布。在 5.1 版本中,你可以获得以下关键特性: 支持 MySQL 8 中的公共表表达式 (Common Table Expression),提高了 SQL 语句的可读性与执行效率。 支持对数据表列类型的在线变更,提高了业务开发的灵活性。 引入一种新的统计信息类型,默认作为实验特性启用,提升查询稳定性。 支持 MySQL 8 中的动态权限 (Dynamic Privileges) 配置,实现对某些操作更细粒度的控制。 支持通过 Stale Read 功能直接读取本地副本数据,降低读取延迟,提升查询性能(实验特性)。 新增锁视图 (Lock View) 功能方便 DBA 观察事务加锁情况以及排查死锁问题(实验特性)。 新增 TiKV 后台任务写入限制(TiKV Write Rate Limiter),保证读写请求的延迟稳定性。 兼容性更改 注意: 当从一个早期的 TiDB 版本升级到 TiDB 5.1 时,如需了解所有中间版本对应的兼容性更改说明,请查看对应版本的Release Note。 系统变量 变量名 修改类型 描述 cte_max_recursion_depth 新增 用于控制公共表表达式最大递归深度。 init_connect 新增 用于控制初始连接。 tidb_analyze_version 新增 用于控制所收集到的统计信息。默认值为2,默认作为实验特性启用。 tidb_enable_enhanced_security 新增 表示所连接的 TiDB 服务器是否启用了安全增强模式(SEM),在不重新启动 TiDB 服务器的情况下不能改变该变量。 tidb_enforce_mpp 新增 用于忽略优化器代价估算,强制使用 MPP 模式。BOOL类型,默认值为false。 tidb_partition_prune_mode 新增 用于设置是否开启分区表动态裁剪模式(实验特性)。默认值为static,即默认不启用分区表动态裁剪模式。 配置文件参数 配置文件 配置项 修改类型 描述 TiDB 配置文件 security.enable-sem 新增 控制是否启用安全增强模式 (SEM)。默认值为false,代表未启用。 TiDB 配置文件 performance.committer-concurrency 修改 在单个事务的提交阶段,控制用于执行提交操作相关请求的并发数。默认值从16修改为128。 TiDB 配置文件 performance.tcp-no-delay 新增 控制 TiDB 是否在 TCP 层开启 TCP_NODELAY。 默认值为true,代表开启。 TiDB 配置文件 performance.enforce-mpp 新增 用于在实例级别控制 TiDB 是否忽略优化器代价估算,强制使用 MPP 模式,默认值为false。 TiDB 配置文件 pessimistic-txn.deadlock-history-capacity 新增 控制单个 TiDB 节点的INFORMATION_SCHEMA.DEADLOCKS表最多可记录的死锁事件个数,默认值为 “10”。 TiKV 配置文件 abort-on-panic 新增 设置 TiKV panic 时 abort 进程是否允许系统生成 core dump 文件。默认值为 false,代表不允许生成 core dump 文件。 TiKV 配置文件 hibernate-regions 修改 默认值从false修改为true。 如果 Region 长时间处于非活跃状态,即被自动设置为静默状态。 TiKV 配置文件 old-value-cache-memory-quota 新增 设置缓存在内存中的 TiCDC Old Value 的条目占用内存的上限。默认值为 512MB。 TiKV 配置文件 sink-memory-quota 新增 设置缓存在内存中的 TiCDC 数据变更事件占用内存的上限。默认值为 512MB。 TiKV 配置文件 incremental-scan-threads 新增 控制增量扫描历史数据任务的线程个数。默认值为 4,代表 4 个线程。 TiKV 配置文件 incremental-scan-concurrency 新增 控制增量扫描历史数据任务的最大并发执行个数。默认值为 6,代表最多并发执行 6 个任务。 TiKV 配置文件 soft-pending-compaction-bytes-limit 修改 pending compaction bytes 的软限制,默认值从 "64GB" 修改为 "192GB"。 TiKV 配置文件 storage.io-rate-limit 新增 控制 TiKV 写入的 IO 速率。storage.io-rate-limit.max-bytes-per-sec默认值为 “0MB”。 TiKV 配置文件 resolved-ts.enable 新增 为所有 Region leader 维护resolved-ts,默认值为true。 TiKV 配置文件 resolved-ts.advance-ts-interval 新增 推进resolved-ts的间隔,默认为 "1s",支持动态更改。 TiKV 配置文件 resolved-ts.scan-lock-pool-size 新增 用于初始化resolved-ts时扫锁的线程数,默认值为2。 其他 为了提升 TiDB 性能,TiDB 的 Go 编译器版本从 go1.13.7 升级到了 go1.16.4。如果你是 TiDB 的开发者,为了能保证顺利编译,请对应升级你的 Go 编译器版本。 请避免在对使用 TiDB Binlog 的集群进行滚动升级的过程中新创建聚簇索引表。 请避免在 TiDB 滚动升级时执行alter table ... modify column或alter table ... change column。 当按表构建 TiFlash 副本时,v5.1 版本及后续版本将不再支持设置系统表的 replica。在集群升级前,需要清除相关系统表的 replica,否则会导致升级失败。 在 TiCDC 的cdc cli changefeed命令中废弃--sort-dir参数,用户可在cdc server命令中设定--sort-dir。#1795 新功能 SQL 新增 MySQL 8 中的公共表表达式 (Common Table Expression,简称 CTE)。 CTE 为 TiDB 带来递归或非递归查询层次结构数据的能力,满足了人力资源、制造业、金融市场和教育在内的多种应用领域需要使用树形查询实现业务逻辑的需求。 在 TiDB 中,你可以通过WITH语句使用公共表表达式。用户文档,#17472 新增 MySQL 8 中的动态权限 (Dynamic Privileges)。 动态权限用于限制SUPER权限,为 TiDB 提供更灵活的权限配置,实现对某些操作更细粒度的控制。例如,你可以使用动态权限来创建一个只能执行BACKUP和RESTORE操作的用户帐户。 支持的动态权限包括: BACKUP_ADMIN RESTORE_ADMIN ROLE_ADMIN CONNECTION_ADMIN SYSTEM_VARIABLES_ADMIN 你也可以使用插件来添加新的权限。若要查看全部的动态权限,请执行SHOW PRIVILEGES语句。用户文档 新增安全增强模式 (Security Enhanced Mode) 配置项,用于对 TiDB 管理员进行更细粒度的权限划分。 安全增强模式默认关闭,如需开启,请参考用户文档。 全面加强列类型的在线变更能力,支持通过ALTER TABLE语句进行列的在线类型修改,包括但不限于: 从VARCHAR转换为BIGINT DECIMAL精度修改 从VARCHAR(10)到VARCHAR(5)的长度压缩 用户文档 引入新的语法AS OF TIMESTAMP,支持通过 Stale Read 功能从指定的时间点或时间范围内读取历史数据(实验特性)。 用户文档,#21094 AS OF TIMESTAMP语法示例如下: SELECT * FROM t AS OF TIMESTAMP '2020-09-06 00:00:00'; START TRANSACTION READ ONLY AS OF TIMESTAMP '2020-09-06 00:00:00'; SET TRANSACTION READ ONLY as of timestamp '2020-09-06 00:00:00'; 引入一种新的统计信息类型tidb_analyze_version = 2(实验特性)。 tidb_analyze_version = 2默认启用,避免了 Version 1 中因为哈希冲突导致的在较大的数据量中可能产生的较大误差,并保持了大多数场景中的估算精度。 用户文档 事务 新增锁视图 (Lock View)(实验特性) Lock View 用于提供关于悲观锁的锁冲突和锁等待的更多信息,方便 DBA 通过锁视图功能来观察事务加锁情况以及排查死锁问题等#24199 用户文档: 查看集群中所有 TiKV 节点上当前正在发生的悲观锁等锁:DATA_LOCK_WAITS 查看 TiDB 节点上最近发生的若干次死锁错误:DEADLOCKS 查看 TiDB 节点上正在执行的事务的信息:TIDB_TRX 性能 数据副本非一致性读 (Stale Read)(实验特性) 直接读取本地副本数据,降低读取延迟,提升查询性能 用户文档,#21094 默认开启 Hibernate Region 特性。 如果 Region 长时间处于非活跃状态,即被自动设置为静默状态,可以降低 Leader 和 Follower 之间心跳信息的系统开销。 用户文档,#10266 稳定性 TiCDC 复制稳定性问题解决 改善 TiCDC 内存使用,避免在以下场景出现 OOM 同步中断期间积累大量数据,超过 1TB,重新同步出现 OOM 问题 大量数据写入造成 TiCDC 出现 OOM 问题 改善 TiCDC 同步中断问题,缓解以下场景的问题project#11 网络不稳定情况下出现的同步中断问题 在部分 TiKV/PD/TiCDC 节点宕机情况下出现的同步中断问题 TiFlash 存储内存控制 优化了 Region 快照生成的速度和内存使用量,减少了 OOM 的可能性 新增 TiKV 后台任务写入限制 (TiKV Write Rate Limiter) TiKV Write Rate Limiter 通过平滑 TiKV 后台任务如 GC,Compaction 等的写入流量,保证读写请求的延迟稳定性。TiKV 后台任务写入限制默认值为 "0MB",建议将此限制设置为磁盘的最佳 I/O 带宽,例如云盘厂商指定的最大 I/O 带宽。 用户文档,#9156 解决多个扩缩容时的调度稳定性问题 遥测 TiDB 在遥测中新增收集集群请求的运行状态,包括执行情况、失败情况等。 若要了解所收集的信息详情及如何禁用该行为,请参见遥测文档。 提升改进 TiDB 支持VITESS_HASH()函数#23915 支持枚举类型下推到 TiKV ,提升 WHERE 子句中使用枚举类型时的性能#23619 优化 Window Function 计算过程,解决了使用 ROW_NUMBER() 对数据分页时 TiDB OOM 的问题#23807 优化 UNION ALL 的计算过程,解决了使用 UNION ALL 连接大量 SELECT 语句时 TiDB OOM 的问题#21441 优化分区表动态模式,提升其性能和稳定性#24150 解决多种情况下出现的Region is Unavailable问题project#62 修复频繁调度情况下可能出现的多个Region is Unavailable问题 解决部分高压力写入情况下可能出现的Region is Unavailable问题 当内存中的统计信息缓存是最新的时,避免后台作业频繁读取mysql.stats_histograms表造成高 CPU 使用率#24317 TiKV 使用zstd压缩 Region Snapshot,防止大量调度或扩缩容情况下出现各节点之间空间差异比较大的问题#10005 解决多种情况下的 OOM 问题#10183 增加各模块内存使用情况追踪 解决 Raft entries cache 过大导致的 OOM 问题 解决 GC tasks 堆积导致的 OOM 问题 解决一次性从 Raft log 取太多 Raft entries 到内存导致 OOM 问题 让 Region 分裂更均匀,缓解有写入热点时 Region 大小的增长速度超过分裂速度的问题#9785 TiFlash 新增对Union All、TopN、Limit函数的支持 新增 MPP 模式下对笛卡尔积 left outer join 和 semi anti join 的支持 优化锁操作以避免 DDL 语句和读数据相互阻塞 优化 TiFlash 对过期数据的清理 新增支持对timestamp列的查询过滤条件在 TiFlash 存储层进一步过滤 在集群中有大量表时,优化 TiFlash 的启动速度及扩容速度 提升 TiFlash 在未知 CPU 上运行的兼容性 PD 避免在添加scatter region调度器后出现的非预期统计行为#3602 解决扩缩容过程中出现的多个调度问题 优化副本 snapshot 生成流程,解决扩缩容调度慢问题:#3563#10059#10001 解决由于流量变化引带来的心跳压力引起的调度慢问题#3693#3739#3728#3751 减少大集群由于调度产生的空间差异问题,并优化调度公式防止由于压缩率差异大引发的类似异构空间集群的爆盘问题#3592#10005 Tools Backup & Restore (BR) 支持备份和恢复mysqlschema 下的用户数据表#1143#1078 BR 支持 S3 兼容的存储(基于 virtual-host 寻址模式)#10243 BR 改进 backupmeta 格式,减少内存占用#1171 TiCDC 改进了部分日志信息的描述使其更加明确清晰,对诊断问题更有帮助#1759 为 TiCDC 扫描的速度添加感知下游处理能力的 (back pressure) 功能#10151 减少 TiCDC 进行初次扫描的内存使用量#10133 提升了悲观事务中 TiCDC Old Value 的缓存命中率#10089 Dumpling 改善从 TiDB v4.0 导出数据的逻辑避免 TiDB OOM#273 修复备份失败却没有错误输出的问题#280 TiDB Lightning 提升导入速度。优化结果显示,导入 TPC-C 数据速度提升在 30% 左右,导入索引比较多(5 个索引)的大表 (2TB+) 速度提升超过 50%#753 导入前对导入数据和目标集群进行检查,如果不符合导入要求,则报错拒绝导入程序的运行#999 优化 Local 后端更新 checkpoint 的时机,提升断点重启时的性能#1080 Bug 修复 TiDB 修复投影消除在投影结果为空时执行结果可能错误的问题#23887 修复列包含NULL值时查询结果在某些情况下可能错误的问题#23891 当有虚拟列参与扫描时不允许生成 MPP 计划#23886 修复 Plan Cache 中对PointGet和TableDual错误的重复使用#23187#23144#23304#23290 修复优化器在为聚簇索引构建IndexMerge执行计划时出现的错误#23906 修复 BIT 类型相关错误的类型推导#23832 修复某些优化器 Hint 在PointGet算子存在时无法生效的问题#23570 修复 DDL 遇到错误回滚时可能失败的问题#23893 修复二进制字面值常量的索引范围构造错误的问题#23672 修复某些情况下IN语句的执行结果可能错误的问题#23889 修复某些字符串函数的返回结果错误的问题#23759 执行REPLACE语句需要用户同时拥有INSERT和DELETE权限#23909 修复点查时出现的的性能回退#24070 修复因错误比较二进制与字节而导致的TableDual计划错误的问题#23846 修复了在某些情况下,使用前缀索引和 Index Join 导致的 panic 的问题#24547#24716#24717 修复了point get的 prepare plan cache 被事务中的point get语句不正确使用的问题#24741 修复了当排序规则为ascii_bin或latin1_bin时,写入错误的前缀索引值的问题#24569 修复了正在执行的事务被 GC worker 中断的问题#24591) 修复了当new-collation开启且new-row-format关闭的情况下,点查在聚簇索引下可能出错的问题#24541 为 Shuffle Hash Join 重构分区键的转换功能#24490 修复了当查询包含HAVING子句时,在构建计划的过程中 panic 的问题#24045 修复了列裁剪优化导致Apply算子和Join算子执行结果错误的问题#23887 修复了从 Async Commit 回退的主锁无法被清除的问题#24384 修复了一个统计信息 GC 的问题,该问题可能导致重复的 fm-sketch 记录#24357 当悲观锁事务收到ErrKeyExists错误时,避免不必要的悲观事务回滚#23799 修复了当 sql_mode 包含ANSI_QUOTES时,数值字面值无法被识别的问题#25015 禁止如INSERT INTO table PARTITION (<partitions>) ... ON DUPLICATE KEY UPDATE的语句从 non-listed partitions 读取数据#24746 修复了当 SQL 语句包含GROUP BY以及UNION时,可能会出现的index out of range的问题#24281 修复了CONCAT函数错误处理排序规则的问题#24296 修复了全局变量collation_server对新会话无法生效的问题#24156 TiKV 修复了 Coprocessor 未正确处理IN表达式有符号整数或无符号整数类型数据的问题#9821 修复了在批量 ingest SST 文件后产生大量空 Region 的问题#964 修复了 file dictionary 文件损坏之后 TiKV 无法启动的问题#9886 修复了由于读取旧值而导致的 TiCDC OOM 问题#9996#9981 修复了聚簇主键列在次级索引上的latin1_bin字符集出现空值的问题#24548 新增abort-on-panic配置,允许 TiKV 在 panic 时生成 core dump 文件。用户仍需正确配置环境以开启 core dump。#10216 修复了 TiKV 不繁忙时point get查询性能回退的问题#10046 PD 修复在 store 数量多的情况下,切换 PD Leader 慢的问题#3697 修复删除不存在的 evict leader 调度器时出现 panic 的问题#3660 修复 offline peer 在合并完后未更新统计的问题#3611 TiFlash 修复TIME类型转换为INT类型时产生错误结果的问题 修复receiver可能无法在 10 秒内找到对应任务的问题 修复cancelMPPQuery中可能存在无效迭代器的问题 修复bitwise算子和 TiDB 行为不一致的问题 修复当使用prefix key时出现范围重叠报错的问题 修复字符串转换为INT时产生错误结果的问题 修复连续快速写入可能导致 TiFlash 内存溢出的问题 修复 Table GC 时会引发空指针的问题 修复向已被删除的表写数据时 TiFlash 进程崩溃的问题 修复当使用 BR 恢复数据时 TiFlash 进程可能崩溃的问题 修复并发复制共享 Delta 索引导致结果错误的问题 修复 TiFlash 在 Compaction Filter 特性开启时可能崩溃的问题 修复了从 Async Commit 回退的锁无法被 TiFlash 清除的问题 修复当TIMEZONE类型的转换结果包含TIMESTAMP类型时返回错误结果的问题 修复 TiFlash 在 Segment Split 期间异常退出的问题 Tools TiDB Lightning 修复在生成 KV 数据时可能发生的 panic 问题#1127 修复数据导入期间 Batch Split Region 因键的总大小超过 Raft 条目限制而可能失败的问题#969 修复在导入 CSV 文件时,如果文件的最后一行未包含换行符(\r\n)会导入报错的问题#1133 修复待导入的目标表中包含 double 类型的自增列时会导致表的 auto_Increment 值异常的问题#1178 Backup & Restore (BR) 修复备份期间少数 TiKV 节点不可用导致的备份中断问题#980 TiCDC 修复 Unified Sorter 中的并发问题并过滤无用的错误消息#1678 修复同步到 MinIO 时,重复创建目录会导致同步中断的问题#1463 默认开启会话变量explicit_defaults_for_timestamp,使得下游 MySQL 5.7 和上游 TiDB 的行为保持一致#1585 修复错误地处理io.EOF可能导致同步中断的问题#1633 修正 TiCDC 面板中的 TiKV CDC endpoint CPU 统计信息#1645 增加defaultBufferChanSize来避免某些情况下同步阻塞的问题#1259 修复 Avro 输出中丢失时区信息的问题#1712 支持清理 Unified Sorter 过期的文件并禁止共享sort-dir目录#1742 修复存在大量过期 Region 信息时 KV 客户端可能锁死的问题#1599 修复--cert-allowed-cn参数中错误的帮助消息#1697 修复因更新explicit_defaults_for_timestamp而需要 MySQLSUPER权限的问题#1750 添加 sink 流控以降低内存溢出的风险#1840 修复调度数据表时可能发生的同步终止问题#1828 修复 TiCDC changefeed 断点卡住导致 TiKV GC safe point 不推进的问题#1759 更新说明:https://docs.pingcap.com/zh/tidb/v5.1/release-5.1.0

优秀的个人博客,低调大师

TiDB 5.0.2 发布,分布式 NewSQL 数据库

TiDB 5.0.2 现已发布,该版本具体更新内容如下: 兼容性更改 Tools TiCDC 在cdc cli changefeed命令中废弃--sort-dir参数,用户可在cdc server命令中设定--sort-dir#1795 新功能 TiKV 默认开启 Hibernate Region 特性#10266 提升改进 TiDB 当内存中的统计信息缓存是最新的时,避免后台作业频繁读取mysql.stats_histograms表造成高 CPU 使用率#24317 TiKV BR 支持 S3 兼容的存储(基于 virtual-host 寻址模式)#10243 为 TiCDC 扫描的速度添加背压 (back pressure) 功能#10151 减少 TiCDC 进行初次扫描的内存使用量#10133 提升了悲观事务中 TiCDC Old Value 的缓存命中率#10089 让 Region 分裂更均匀,缓解有写入热点时 Region 大小的增长速度超过分裂速度的问题#9785 TiFlash 优化锁操作以避免 DDL 语句和读数据相互阻塞 支持INTEGER和REAL类型转化为REAL类型 Tools TiCDC 添加关于数据表内存使用情况的监控#1885 优化排序阶段的内存和 CPU 使用#1863 删除了一些可能让用户困惑的无用日志信息#1759 Backup & Restore (BR) 优化了一些含糊的报错信息#1132 支持检查备份的版本信息#1091 支持备份和恢复mysqlschema 下的系统表#1143#1078 Dumpling 修复备份失败却没有错误输出的问题#280 Bug 修复 TiDB 修复了在某些情况下,使用前缀索引和 Index Join 导致的 panic 的问题#24547#24716#24717 修复了point get的 prepare plan cache 被事务中的point get语句不正确使用的问题#24741 修复了当排序规则为ascii_bin或latin1_bin时,写入错误的前缀索引值的问题#24569 修复了正在执行的事务被 GC worker 中断的问题#24591 修复了当new-collation开启且new-row-format关闭的情况下,点查在聚簇索引下可能出错的问题#24541 为 Shuffle Hash Join 重构分区键的转换功能#24490 修复了当查询包含HAVING子句时,在构建计划的过程中 panic 的问题#24045 修复了列裁剪优化导致Apply算子和Join算子执行结果错误的问题#23887 修复了从 Async Commit 回退的主锁无法被清除的问题#24384 修复了一个统计信息 GC 的问题,该问题可能导致重复的 fm-sketch 记录#24357 当悲观锁事务收到ErrKeyExists错误时,避免不必要的悲观事务回滚#23799 修复了当 sql_mode 包含ANSI_QUOTES时,数值字面值无法被识别的问题#24429 禁止如INSERT INTO table PARTITION (<partitions>) ... ON DUPLICATE KEY UPDATE的语句从 non-listed partitions 读取数据#24746 修复了当 SQL 语句包含GROUP BY以及UNION时,可能会出现的index out of range的问题#24281 修复了CONCAT函数错误处理排序规则的问题#24296 修复了全局变量collation_server对新会话无法生效的问题#24156 TiKV 修复了由于读取旧值而导致的 TiCDC OOM 问题#9996#9981 修复了聚簇主键列在次级索引上的latin1_bin字符集出现空值的问题#24548 新增abort-on-panic配置,允许 TiKV 在 panic 时生成 core dump 文件。用户仍需正确配置环境以开启 core dump。#10216 修复了 TiKV 不繁忙时point get查询性能回退的问题#10046 PD 修复在 store 数量多的情况下,切换 PD Leader 慢的问题#3697 修复删除不存在的 evict leader 调度器时出现 panic 的问题#3660 修复 offline peer 在合并完后未更新统计的问题#3611 TiFlash 修复并发复制共享 Delta 索引导致结果错误的问题 修复当存在数据缺失的情况下 TiFlash 无法启动的问题 修复旧的 dm 文件无法被自动清理的问题 修复 TiFlash 在 Compaction Filter 特性开启时可能崩溃的问题 修复ExchangeSender可能传输重复数据的问题 修复了从 Async Commit 回退的锁无法被 TiFlash 清除的问题 修复当TIMEZONE类型的转换结果包含TIMESTAMP类型时返回错误结果的问题 修复 TiFlash 在 Segment Split 期间异常退出的问题 修复非根节点 MPP 任务的执行信息显示不正确的问题 Tools TiCDC 修复 Avro 输出中丢失时区信息的问题#1712 支持清理 Unified Sorter 过期的文件并禁止共享sort-dir目录#1742 修复存在大量过期 Region 信息时 KV 客户端可能锁死的问题#1599 修复--cert-allowed-cn参数中错误的帮助消息#1697 修复因更新explicit_defaults_for_timestamp而需要 MySQLSUPER权限的问题#1750 添加 sink 流控以降低内存溢出的风险#1840 修复调度数据表时可能发生的同步终止问题#1828 修复 TiCDC changefeed 断点卡住导致 TiKV GC safe point 不推进的问题#1759 Backup & Restore (BR) 修复 log restore 时丢失删除事件的问题#1063 修复 BR 发送过多无用 RPC 请求到 TiKV 的问题#1037 修复备份失败却没有错误输出的问题#1043 TiDB Lightning 修复在生成 KV 数据时可能发生的 panic 问题#1127 修复 TiDB-backend 模式下因没有开启 autocommit 而无法加载数据的问题#1104 修复数据导入期间 Batch Split Region 因键的总大小超过 Raft 条目限制而可能失败的问题#969 更新说明:https://docs.pingcap.com/zh/tidb/stable/release-5.0.2

优秀的个人博客,低调大师

Apache Druid 0.21.1 发布,实时分析数据库

ApacheDruid0.21.1 发布了。Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。 另外,Druid 还有一个关键的特点:它支持根据时间戳对数据进行预聚合摄入和聚合分析,因此也有用户经常在有时序数据处理分析的场景中用到它。 0.21.1是一个错误修复版本,修复了 0.21 版本的一些回归问题。首先是已发布的 Docker 镜像的问题,由于卷的权限问题,导致容器无法启动,#11166中描述的问题在#11167中得到了修复。此版本还修复了一个由 0.21 中发布的升级 Jetty 版本中的错误引起的问题,在#11206中描述,在#11207中修复。最后,在#11228中增加了一个与字段验证有关的web console回归。 Bug fixes #11167修复docker卷权限 #11207升级jetty版本 #11228Web console:修复必填字段的处理 #11299修复docker 中的权限问题 更新说明:https://github.com/apache/druid/releases/tag/druid-0.21.1

优秀的个人博客,低调大师

CrateDB 4.5.1 发布,分布式 SQL 数据库

CrateDB 4.5.1现已发布。Crate 是一个开源的大规模的可伸缩的数据存储系统,无需任何系统管理需求。提供强大的搜索功能。用于存储各种表格数据、非结构化数据和二进制对象。并可通过 SQL 进行检索。易于安装和使用,支持高可用性和实时大规模并行访问和处理。Crate 特别适合用于 Docker 环境中。 注意 如果要升级群集,则必须先运行 CrateDB 4.0.2 或更高版本,然后才能升级到 4.5.1。官方建议在升级到 4.5.1 之前先升级到最新的 4.4 版本。支持从 4.4.0+ 到 4.5.1的滚动升级。升级之前,建议先备份数据。 Fixes 修复了以下问题:如果在 sub-query 的选择列表中使用了表函数,但在 parent relation 的输出中没有使用,则可能导致对虚拟表的查询返回不正确的结果。举例: SELECT name FROM (SELECT name, unnest(tags) FROM metrics) m; 将捆绑的 JDK 更新为 16.0.1 + 9 修复了以下问题:如果在一个有多个类型重载的函数中作为参数使用,会导致有长度限制的 varchar 类型的列被错误地转换为另一种类型。 修复了一个问题,该问题导致 ALTER TABLE ADD COLUMN 语句从同一表中的现有列中删除约束,如 analyzers 或 NOT NULL。 允许以常规用户身份执行CREATETABLE..ASDDLDQL,并具有对 target schema 的 DDL 权限以及对 source relations的 DQL 权限。 改变了发送给 PostgreSQL 客户端的 RowDescription 信息,以避免 JDBC 客户端在每次访问结果集的 MetaData 信息时触发对 pg_catalog 模式表的查询。 修复了crate-node辅助程序,以在 Linux 上使用捆绑的 Java 运行时。 发布说明:https://crate.io/docs/crate/reference/en/4.5/appendices/release-notes/4.5.1.html

优秀的个人博客,低调大师

TiDB 5.0.1 发布,分布式 NewSQL 数据库

TiDB 5.0.1 现已发布,该版本具体更新内容如下: 改进提升 TiKV 使用zstd压缩 Region Snapshot#10005 PD 调整 Region 分数公式使其更适用于异构集群#3605 避免在添加scatter region调度器后出现的非预期统计行为#3602 Tools Backup & Restore (BR) 删除 Summary 日志中一些容易被误解的信息#1009 Bug 修复 TiDB 修复投影消除在投影结果为空时执行结果可能错误的问题#24093 修复列包含NULL值时查询结果在某些情况下可能错误的问题#24063 当有虚拟列参与扫描时不允许生成 MPP 计划#24058 修复 Plan Cache 中对PointGet和TableDual错误的重复使用#24043 修复优化器在为聚簇索引构建IndexMerge执行计划时出现的错误#24042 修复 BIT 类型相关错误的类型推导#24027 修复某些优化器 Hint 在PointGet算子存在时无法生效的问题#23685 修复 DDL 遇到错误回滚时可能失败的问题#24080 修复二进制字面值常量的索引范围构造错误的问题#24041 修复某些情况下IN语句的执行结果可能错误的问题#24023 修复某些字符串函数的返回结果错误的问题#23879 执行REPLACE语句需要用户同时拥有INSERT和DELETE权限#23939 修复点查时出现的的性能回退#24070 修复因错误比较二进制与字节而导致的TableDual计划错误的问题#23918 TiKV 修复了 Coprocessor 未正确处理IN表达式有符号整数或无符号整数类型数据的问题#10018 修复了在批量 ingest SST 文件后产生大量空 Region 的问题#10015 修复了在cast_string_as_time中输入非法的 UTF-8 字节后导致崩溃的问题#9995 修复了 file dictionary 文件损坏之后 TiKV 无法启动的问题#9992 TiFlash 修复存储引擎无法删除某些范围数据的问题 修复TIME类型转换为INT类型时产生错误结果的问题 修复receiver可能无法在 10 秒内找到对应任务的问题 修复cancelMPPQuery中可能存在无效迭代器的问题 修复bitwise算子和 TiDB 行为不一致的问题 修复当使用prefix key时出现范围重叠报错的问题 修复字符串转换为INT时产生错误结果的问题 修复连续快速写入可能导致 TiFlash 内存溢出的问题 修复列名重复会引发报错的问题 修复 MPP 执行计划无法被解析的问题 修复 Table GC 时会引发空指针的问题 修复向已被删除的表写数据时 TiFlash 进程崩溃的问题 修复当使用 BR 恢复数据时 TiFlash 进程可能崩溃的问题 Tools TiDB Lightning 修复导入过程中进度日志中的表数量不准确的问题#1005 Backup & Restore (BR) 修复实际的备份速度超过--ratelimit限制的问题#1026 修复备份期间少数 TiKV 节点不可用导致的备份中断问题#1019 TiCDC 修复 Unified Sorter 中的并发问题并过滤无用的错误消息#1678 修复同步到 MinIO 时,重复创建目录会导致同步中断的问题#1672 默认开启会话变量explicit_defaults_for_timestamp,使得下游 MySQL 5.7 和上游 TiDB 的行为保持一致#1659 修复错误地处理io.EOF可能导致同步中断的问题#1648 修正 TiCDC 面板中的 TiKV CDC endpoint CPU 统计信息#1645 增加defaultBufferChanSize来避免某些情况下同步阻塞的问题#1632 更新说明:https://docs.pingcap.com/zh/tidb/stable/release-5.0.1

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

用户登录
用户注册