搜索[分布式账本]结果-低调大师优秀个人博客

精选列表

搜索[分布式账本]，共10000篇文章

详解GaussDB(DWS) explain分布式执行计划

摘要：本文主要介绍如何详细解读GaussDB(DWS)产生的分布式执行计划，从计划中发现性能调优点。

2020-10-20

空谈分布式系统设计之幂等性

这篇文章以两个典型的实际案例为基础，聊一聊分布式系统如何实现幂等性。案例一：转账系统在之前的文章，有多次提到转账系统这个案例，由于这个案例太典型了，很多大学教授数据库事务的时候就是用的这个案例。

2020-10-09

TiDB 4.0.5 现已发布，该版本具体更新内容如下：兼容性变化 TiDB 修改drop partition和truncate partition的参数#18930 为add partition操作添加状态检查#18865 新功能 TiKV 为错误定义错误码#8387 TiFlash 支持与 TiDB 统一的 log 格式 Tools TiCDC 支持加密 Kafka 链接#764 支持输出 old value#708 添加列的特征的标识#796 支持输出上一版本的 DDL 和表结构#799 优化提升 TiDB 优化Union场景下DecodePlan的开销#18941 减少 GC 在遇到Region cache miss错误时扫描锁的次数#18876 减少统计信息 feedback 对集群性能的影响#18772 支持在 RPC 请求返回结果前取消操作#18580 支持使用 HTTP API 生成带有相关监控项名称的 profile#18531 支持分区表的预打散功能#17863 在监控面板中显示每个实例的内存使用详情#18679 在EXPLAIN中显示BatchPointGet算子的详细运行信息#18892 在EXPLAIN中显示PointGet算子的详细运行信息#18817 解决MemTracker潜在的死锁问题#18395 提高字符串转换为整数类型和小数类型的兼容性，支持将 JSON 转换为时间日期类型#18159 支持限制TableReader算子内存使用#18392 在batch cop请求重试时避免多次 backoff#18999 提升ALTER TABLE的兼容性#19270 单个分区支持IndexJoin#19151 支持在 log 中存在非法字符时搜索 log#18579 PD 支持打散特殊存储引擎节点（例如 TiFlash）上的 Region#2706 支持通过 API 指定某范围内的 Region 优先进行调度#2687 优化 Region 打散操作，使得 Leader 分布更均匀#2684 针对 TSO 请求添加更多测试和日志#2678 避免 Region Leader 变化时可能产生的不必要的缓存更新#2672 增加选项允许store.GetLimit返回 tombstone 状态的 store#2743 支持 PD Leader 和 Follower 之间同步 Region Leader 变更#2795 增加查询 GC safepoint 服务的命令#2797 替换 filter 中的region.Clone调用，优化性能#2801 增加关闭 Region 流量统计缓存更新的选项，用于提升大规模集群的性能#2848 TiFlash 添加更多的 Grafana 监控面板，比如 CPU、I/O、RAM 使用量，以及存储引擎的各项指标通过优化 Raft logs 的处理逻辑，减少 I/O 操作加快add partitionDDL 之后 Region 的调度速度优化 DeltaTree 引擎中 delta 数据的整理，减少读写放大通过使用多线程对 Region snapshot 进行预处理，优化从 TiKV 同步 Region 副本的性能优化系统负载较低时打开文件描述符的数量，降低系统资源占用量减少 TiFlash 重启时新创建的文件数量支持数据存储的静态加密功能支持数据传输的 TLS 功能 Tools TiCDC 减少了获取时间戳的频率#801 Backup & Restore (BR) 优化了日志#428 Dumpling 减少导出 MySQL 时持锁的时间#121 TiDB Lightning 优化了日志#352 Bug 修复 TiDB 修复builtinCastRealAsDecimalSig函数中未正确处理ErrTruncate/Overflow错误导致报should ensure all columns have the same length错误的问题#18967 修复pre_split_regions对分区表不生效的问题#18837 修复大事务提前终止的问题#18813 修复使用collation相关函数查询结果错误的问题#18735 修复getAutoIncrementID()函数逻辑错误导致导出工具报table not exist错误的问题#18692 修复select a from t having t.a报unknown column error的问题#18434 修复 Hash 分区表的分区键为整数类型时，写入 64 位无符号类型导致溢出 panic 的问题#18186 修复char函数行为错误的问题#18122 修复ADMIN REPAIR TABLE无法解析 range 分区表表达式中整数的问题#17988 修复SET CHARSET行为不正确的问题#17289 修复由于错误的设置 collation 导致collation函数返回错误结果的问题#17231 修复STR_TO_DATE和 MySQL 行为不一致的问题#18727 修复cluster_info表中，TiDB 版本和 PD/TiKV 不一致的问题#18413 修复悲观事务未能检查出重复数据导致可以重复写入冲突数据的问题#19004 修复union select for update存在并发竞态的问题#19006 修复自查询含有PointGet算子时返回结果错误的问题#19046 修复IndexLookUp作为Apply的内连接算子时查询结果不正确的问题#19496 修复anti-semi-join查询结果不正确的问题#19472 修复BatchPointGet查询结果不正确的问题#19456 修复UnionScan作为Apply的内连接算子时查询结果不正确的问题#19496 修复使用EXECUTE语句产生大查询日志造成 panic 的问题#17419 修复IndexJoin在使用ENUM或SET类型作为连接键报错的问题#19235 修复在索引值为NULL时无法构建出查询范围的问题#19358 修复更新全局配置导致的数据竞态问题#17964 修复修改 schema 字符集导致 panic 的问题#19286 修复修改文件夹对中间结果落盘功能的影响#18970 修复decimal类型哈希值不正确的问题#19131 修复PointGet和BatchPointGet在分区表场景下报错的问题#19141 修复共同使用Apply算子和UnionScan算子时查询结果不正确的问题#19104 修复生成列索引结果不正确的问题#17989 修复并发收集统计信息 panic 的问题#18983 TiKV 修复开启 Hibernate Region 时，某些情况下 leader 选举慢的问题#8292 修复 Region 调度产生的一个内存泄露问题#8357 增加hibernate-timeout配置避免 leader 过快变为 Hibernate 状态#8208 PD 修复 PD leader 切换时可能导致一段时间内 TSO 不可用的问题#2666 修复开启 Placement Rule 时，某些情况下 Region 无法调度至最佳状态的问题#2720 修复开启 Placement Rules 后，Balance Leader不工作的问题#2726 修复不健康的 Store 未从负载统计信息中过滤的问题#2805 TiFlash 修复 TiFlash 从旧版本升级到新版本的过程中，由于包含特殊字符而导致进程无法启动的问题修复 TiFlash 进程在初始化过程中，一旦出现任何异常就无法退出的问题 Tools Backup & Restore (BR) 修复 total KV 和 total bytes 被计算两次的问题#472 修复切换模式不及时导致恢复缓慢的问题#473 Dumpling 修复 FTWRL 锁没有及时释放的问题#128 TiCDC 解决了同步任务不能被移除的问题#782 修正了错误的删除事件#787 解决了已停止的同步任务会卡住 GC 的问题#797 解决了网络阻塞导致同步任务不能退出的问题#825 修复在某些情况下无关数据被错误地到下游的问题#743 TiDB Lightning 解决了 TiDB backend 遇到空 binary/hex 的时候出现语法错误的问题#357 发布说明：https://docs.pingcap.com/zh/tidb/stable/release-4.0.5

2020-09-03

分布式锁的封装也很有讲究呀

分布式锁通常有很多选择，基于 Redis 的，基于 Zookeeper 的，基于数据库等等方案。 Redis 用于缓存数据，在项目中都有使用，所以使用 Redis 来做分布式锁的会稍微多些。

2020-09-01

Redkale 2.1.0 发布，Java 分布式微服务框架

Redkale，一个Java分布式微服务框架，1.3M的jar可以代替传统几十M的第三方。包含TCP/UDP、HTTP、RPC、依赖注入、序列化与反序列化、数据库操作、WebSocket等功能。

2020-09-01

TiDB 3.0.18 发布，分布式 NewSQL 数据库

TiDB3.0.18现已发布，该版本更新内容如下：提升改进 Tools TiDB Binlog 支持更加细粒度的 Pump GC 时间#996 Bug 修复 TiDB 修复Hash函数对Decimal类型的错误处理导致 HashJoin 结果错误的问题#19185 修复Hash函数对Set和Enum类型的错误处理导致 HashJoin 结果错误的问题#19175 修复 Duplicate Key 检测在悲观事务下失效的问题#19236 修复Apply算子和Union Scan算子执行导致结果错误的问题#19297 修复某些缓存的执行计划在事务中执行结果错误的问题#19274 TiKV 将 GC 的失败日志从 Error 级别改成 Warning 级别#8444 Tools TiDB Lightning 修复命令行参数--log-file无法生效的问题#345 修复 TiDB-backend 遇到空的 binary/hex 报语法错误的问题#357 修复使用 TiDB backend 时非预期的switch-mode调用#368 发布说明：https://docs.pingcap.com/zh/tidb/stable/release-3.0.18

2020-08-22

Apache HBase 2.3.1 发布，分布式存储系统

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。

2020-08-21

TiDB 3.0.17 发布，分布式 NewSQL 数据库

TiDB3.0.17现已发布，该版本更新内容如下： Bug 修复 TiDB 当一个查询中含有IndexHashJoin或IndexMergeJoin算子，且该算子的子节点发生 panic 时，返回客户端 panic 的原因，而非返回空结果#18498 修复形如SELECT a FROM t HAVING t.a的查询返回UnknowColumn错误的问题#18432 当一张表没有主键，或其主键为整型时，禁止在这张表上执行添加主键#18342 对EXPLAIN FORMAT="dot" FOR CONNECTION始终返回空结果#17157 修复STR_TO_DATE函数处理'%r'和'%h'的行为#18725 TiKV 修复在 Region 合并过程中可能导致读到旧数据的问题#8111 修复调度时可能产生内存泄漏的问题#8355 TiDB Lightning 解决log-file参数不生效的问题#345 优化 TiDB 将配置项query-feedback-limit默认值从 1024 修改为 512, 并优化统计信息反馈机制，降低其对集群的性能影响#18770 限制单次 split 请求中的 Region 个数#18694 加速 HTTP API/tiflash/replica在集群中存在大量历史 DDL 记录时的访问速度#18386 提升索引等值条件下的行数估算准确率#17609 加快kill tidb conn_id的响应速度#18506 TiKV 新增hibernate-timeout配置支持推后 Region 休眠时间，减少 Region 休眠对滚动升级的影响#8207 TiDB Lightning 废弃[black-white-list]参数，新增一种更加简单易用的过滤规则#332 发布说明：https://pingcap.com/docs-cn/stable/releases/release-3.0.17/

2020-08-04

TiDB 4.0.4 发布，分布式 NewSQL 数据库

TiDB 4.0.4 现已发布，该版本具体更新内容如下： Bug 修复 TiDB 修复查询information_schema.columns卡死的问题#18849 修复PointGet和BatchPointGet在遇到in(null)条件时出错的问题#18848 修复BatchPointGet算子结果不正确的问题#18815 修复HashJoin算子在遇到set、enum类型时查询结果不正确的问题#18859 更新说明：https://pingcap.com/docs-cn/stable/releases/release-4.0.4/

2020-08-03

TiDB 4.0.3 发布，分布式 NewSQL 数据库

TiDB 4.0.3 现已发布，该版本具体更新内容如下：新功能 TiDB Dashboard 显示详细的 TiDB Dashboard 版本信息#679 显示不受支持的浏览器或过时的浏览器的兼容性通知#654 支持在SQL 语句分析页面搜索#658 TiFlash TiFlash proxy 支持文件加密功能 Tools Backup & Restore (BR) 支持使用 zstd、lz4、snappy 算法压缩备份文件#404 TiCDC 支持 sink-uri 中配置 Kafka 客户端的 ID#706 支持离线更新同步任务的配置#699 支持自定义同步任务的 ID#727 支持使用 SSL 加密链接向 MySQL 输出数据#347 支持输出 Avro 格式的变更数据#753 支持向 Apache Pulsar 输出变更数据#751 Dumpling 支持自定义 CSV 文件的分隔符和换行符#116 支持自定义输出文件名格式#122 改进提升 TiDB 增加全局变量tidb_log_desensitization来控制在日志中记录 SQL 时是否脱敏#18581 默认打开tidb_allow_batch_cop#18552 加速kill tidb sesesion_id的执行速度#18505 函数tidb_decode_plan的结果增加表头输出#18501 配置检查器可以兼容旧版本的配置文件#18046 默认打开执行信息的收集#18518 增加系统表tiflash_tables和tiflash_segments#18536 AUTO RANDOM被移出实验特性并正式 GA，有如下的改进和兼容性修改：在配置文件中，将experimental.allow-auto-random废弃，该无论该选项如何配置，都可以在列上定义AUTO_RANDOM属性#18613#18623 为避免显式写入AUTO_RANDOM列造成非预期的AUTO_RANDOM_BASE的更新，新增 session 变量tidb_allow_auto_random_explicit_insert用于控制AUTO_RANDOM列的显式写入，该变量默认值为false#18508 为避免分配空间被快速消耗，AUTO_RANDOM列现在仅允许在BIGINT和UNSIGNED BIGINT列上定义，并将最大的 Shard Bit 数量限制为15#18538 当在BIGINT列上定义AUTO_RANDOM属性，并显示插入负值的整型主键时，将不会再触发AUTO_RANDOM_BASE的更新#17987 当在UNSIGNED BIGINT列上定义AUTO_RANDOM属性，分配 ID 时将利用整数的最高位以获得更大的分配空间#18404 在SHOW CREATE TABLE的结果中支持AUTO_RANDOM_BASE属性的更新#18316 TiKV 添加了新的配置项backup.num-threads用语控制 backup 线程池的大小#8199 收取 snapshot 时不再发送 store heartbeat#8136 支持动态调整shared block cache的大小#8232 PD 支持 JSON 格式日志#2565 TiDB Dashboard 优化 key Visualizer 中冷表的 bucket 合并#674 重命名配置项disable-telemetry以使遥测更一致#684 切换页面时显示进度条#661 保证慢日志查询和日志查询行为的一致性，即使在空格存在的情况#682 TiFlash 将 GrafanaDDL Jobs面板中的单位修改为operations per minute 在 Grafana 中新增关于TiFlash-Proxy的详细监控指标面板降低 TiFlash Proxy 的 IOPS Tools TiCDC 将监控指标总的表 ID 替换为表名#695 Backup & Restore (BR) 支持输出 JSON 格式的日志#336 支持在运行 BR 期间动态开启 pprof#372 加速恢复时 DDL 的执行速度#377 TiDB Lightning 使用一种更加简单易懂的表过滤机制替换原先的黑白名单机制#332 Bug 修复 TiDB 当IndexHashJoin遇到执行中发生非内存相关的错误时，返回错误而不是空结果集#18586 修复 gRPC transportReader 导致的反复异常#18562 修复因为 Green GC 不会扫描已下线 store 上的锁而可能导致数据不完整的问题#18550 非只读语句不会使用 TiFlash 引擎#18534 当查询连接异常时返回真实的错误信息#18500 修复非 repair mode 的 TiDB 节点不会重新读取修复的表元信息的错误#18323 修复当锁住的 primary key 在当前事务被插入/删除时可能造成的结果不一致问题#18291 修复数据落盘为正确生效导致的内存溢出#18288 修复REPLACE INTO语句作用在包含生成列的表时会错误报错的问题#17907 当IndexHashJoin及IndexMergeJoin执行异常时抛出Out Of Memory Quota!错误#18527 修复当Index Join使用的索引包含整型主键时，特殊情况下执行结果可能出错的问题#18565 修复当开启 new collation 时，若在事务内的更新涉及了 new collation 列，并在该事务内通过唯一索引读取更新数据时，被更新的数据无法被读取到的问题#18703 TiKV 修复 merge 期间可能读到过期数据的问题#8113 修复聚合函数min/max下推到 TiKV 时，collation 不能正确工作的问题#8108 PD 修复如果服务器崩溃，创建 TSO 流可能会被阻塞一段时间的问题#2648 修复getSchedulers可能导致数据争用的问题#2638 修复删除scheduler时导致死锁的问题#2637 修复balance-leader-scheduler没有考虑 placement rule 的问题#2636 修复有时无法正确设置safepoint的问题，这可能会使 BR 和 dumpling 失败#2635 修复hot region scheduler中目标 store 选择错误的问题#2627 修复 PD Leader 切换时 TSO 请求可能花费太长时间的问题#2622 修复 PD Leader 切换后过期scheduler的问题#2608 修复了启用 placement rule 时，有时 Region 的副本可能无法调整到最佳位置的问题#2605 修复了存储的部署路径不会随着部署目录移动而更新的问题#2600 修复了store limit可能为零的问题#2588 TiDB Dashboard 修复 TiDB 扩容时的 TiDB 连接错误#689 修复 TiFlash 实例未显示在日志搜索页面的问题#680 修复概况页面刷新之后 metrics 会重置的问题#663 修复某些 TLS 方案中的连接问题#660 修复在某些情况下无法正确显示语言的下拉列表#677 TiFlash 修复更改主键列名后 TiFlash 崩溃的问题修复 Learner Read 与 Remove Region 并发时可能的死锁问题 Tools TiCDC 解决了某些场景下可能发生的 OOM 问题#704 解决了某些特殊表名可能导致 SQL 语法出错的问题#676 解决了同步任务处理单元无法正常退出的问题#693 Backup & Restore (BR) 解决了备份汇总报告中时间为负数的问题#405 Dumpling 解决了NULL值在有--r参数时被忽略的问题#119 解决了导出数据时 flush table 没有正常工作的问题#117 TiDB Lightning 解决了--log-file参数不生效的问题#345 TiDB Binlog 修复开启 TLS 写下游时用来保存 checkpoint 的 DB 没有开启 TLS 导致 Drainer 无法启动的问题#988 更新说明：https://pingcap.com/docs-cn/stable/releases/release-4.0.3/

2020-07-25

TiDB 3.0.16 发布，分布式 NewSQL 数据库

TiDB3.0.16现已发布，该版本更新内容如下：优化 TiDB 在 hash partition pruning 中支持is null过滤条件#17308 为每个 Region 设置单独的Backoffer避免多个 Region 同时失败引起等待时间过长#17583 添加新 partition 更新已有 partition 的分裂信息#17668 丢弃来自delete/update语句的 feedbacks#17841 调整job.DecodeArgs中json.Unmarshal的使用以兼容新的 Go 版本#17887 移除slow log和statement summary中一些敏感信息#18128 Datetime解析的分隔符和 MySQL 兼容#17499 解析日期的%h时限定在1..12范围内#17496 TiKV 避免在收到 snapshot 之后发送心跳给 PD 以提高稳定性#8145 优化了 PD client 的日志#8091 Bug 修复 TiDB 修复当锁住的 primary key 在当前事务被插入/删除时可能造成的结果不一致问题#18248 修复因字段含义不一致导致日志中出现大量Got too many pingsgRPC 错误的问题#17944 修复当 HashJoin 返回Null类型列可能造成的 panic 问题#17935 修复访问被拒绝时的错误信息#17722 修复 JSON 数据中int和float类型比较的问题#17715 修复 Failpoint 测试造成的 data race 问题#17710 修复 Region 预分裂超时在创建表时可能不生效的问题#17617 修复BatchClient中因为失败可能导致的主动 panic#17378 修复FLASHBACK TABLE在某些情况下可能失败的问题#17165 修复只有 string 列时 range 范围计算可能不准确的问题#16658 修复only_full_group_by模式下的错误#16620 修复case when函数返回字段长度不准确的问题#16562 修复count聚合函数对decimal类型推断的问题#17702 TiKV 修复了潜在的 ingest file 导致的读取结果错误的问题#8039 修复了多次 merge 过程中被隔离的节点上的副本无法被正确移除的问题#8005 PD 修复一些情况下使用 PD Control 查询 Region 报404错误的问题#2577 发布说明： https://pingcap.com/docs-cn/stable/releases/release-3.0.16/

2020-07-07

Apache Kylin 3.1.0 发布，开源分布式分析引擎

Apache Kylin 3.1.0 已发布，这是一个开源的、分布式的分析型数据仓库，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay

2020-07-05

TiDB 4.0.2 发布，分布式 NewSQL 数据库

TiDB 4.0.2 现已发布，该版本具体更新内容如下：兼容性 TiDB 移除慢查询日志和 statement summary 表中的敏感信息#18130 禁止在 sequence 缓存中出现负数#18103 CLUSTER_INFO表中不再显示 tombstone 状态的 TiKV 和 TiFlash 节点#17953 诊断规则current-load变更为node-check#17660 PD 持久化store-limit配置项，弃用store-balance-rate配置#2557 新更改 TiDB 及 TiDB Dashboard 默认收集使用情况信息，并将这些信息分享给 PingCAP 用于改善产品#18180。若要了解所收集的信息详情及如何禁用该行为，请参见遥测文档。新功能 TiDB 支持在INSERT语句中使用MEMORY_QUOTA()hint#18101 支持基于 TLS 证书 SAN 属性的登录认证#17698 REGEXP()函数支持 collation#17581 支持会话和全局变量sql_select_limit#17604 支持新增分区时自动分裂 Region 的功能#17665 支持函数IF()/BITXOR()/BITNEG()/JSON_LENGTH()下推到 TiFlash Coprocessor 上执行#17651#17592 支持聚合函数APPROX_COUNT_DISTINCT()，用于快速计算COUNT(DISTINCT)的近似值#18120 TiFlash 支持了 collation，支持相应的函数下推#17705 INFORMATION_SCHEMA.INSPECTION_RESULT表新增STATUS_ADDRESS列，用于展示节点的 status 地址#17695 MYSQL.BIND_INFO表新增SOURCE列，用于展示 binding 的创建方式#17587 PERFORMANCE_SCHEMA.EVENTS_STATEMENTS_SUMMARY_BY_DIGEST表新增PLAN_IN_CACHE和PLAN_CACHE_HITS列，用于展示 plan cache 的使用情况#17493 新增配置项enable-collect-execution-info和会话级变量tidb_enable_collect_execution_info用于控制是否记录算子的执行信息并打印到慢查询日志中#18073#18072 新增全局变量tidb_slow_log_masking，用于控制是否脱敏慢查询日志中的查询#17694 增加对 TiKV 配置项storage.block-cache.capacity的诊断规则#17671 新增 SQL 语法BACKUP/RESTORE来进行数据备份恢复#15274 TiKV TiKV Control 支持encryption-meta命令#8103 增加RocksDB::WriteImpl相关的 perf context 监控#7991 PD 对 leader 执行remove-peer操作时，让这个 operator 不等待超时，立刻失败#2551 对 TiFlash 节点设置更合理的 store limit 配置默认值#2559 TiFlash Coprocessor 支持新的聚合函数APPROX_COUNT_DISTINCT 存储引擎中的粗糙索引默认开启支持运行在 ARM 架构 Coprocessor 支持JSON_LENGTH函数下推 TiCDC 支持 Capture 节点扩容时迁移部分子任务到新加节点#665 Cli 中添加清理 TiCDC GC TTL 的功能#652 在 MQ sink 中支持输出 Canal 协议#649 改进提升 TiDB 降低当集群中 CM-Sketch 占用过多内存时，Golang 内存分配带来的查询延迟#17545 缩短 TiKV 故障恢复时集群 QPS 的恢复时间#17681 为 partition 表上的查询支持聚合函数下推到 TiKV 或者 TiFlash coprocessor#17655 提升索引上等值条件的行数估算准确度#17611 TiKV 优化 PD client panic 日志信息#8093 重新加回process_cpu_seconds_total和process_start_time_seconds监控#8029 TiFlash 提升从旧版本升级时的兼容性降低 delta index 的内存使用量使用更高效的 delta index update 算法 Tools Backup & Restore (BR) 提升多表场景下的恢复数据性能#266 Bug 修复 TiDB 修复tidb_isolation_read_engines更改后从 plan cache 中获取的执行计划不正确的问题#17570 修复某些情况下EXPLAIN FOR CONNECTION返回运行时错误的问题#18124 修复某些情况下last_plan_from_cache结果不正确的问题#18111 修复执行 plan cache 中的UNIX_TIMESTAMP()时的运行时错误#18002#17673 修复HashJoin算子的孩子节点返回NULL类型的结果时，计算过程中的运行时错误#17937 修复当在同一个数据库中并发执行DROP DATABASE语句和相关 DDL 语句时的运行错误#17659 修复当COERCIBILITY()的输入参数是用户变量时结果不正确的问题#17890 修复IndexMergeJoin算子偶尔卡住的问题#18091 修复IndexMergeJoin算子触发 oom-action 后被取消执行时卡住的问题#17654 修复Insert和Replace算子的内存统计过大的问题#18062 修复在执行DROP DATABASE的同时对同一个数据库中的表DROP TABLE时，数据不再向 TiFlash 同步的问题#17901 修复 TiDB 和对象存储服务之间BACKUP/RESTORE失败的问题#17844 修复权限检查失败时的错误信息#17724 修复DELETE/UPDATE语句的 feedback 被错误收集的问题#17843 禁止更改非AUTO_RANDOM表的AUTO_RANDOM_BASE值#17828 修复系统变量tidb_isolation_read_engines的值中没有tidb时某些系统表无法访问的问题#17719 修复 JSON 中大整数和浮点数比较的精度问题#17717 修复COUNT()函数的返回类型中DECIMAL不正确的问题#17704 修复HEX()函数的输入类型是二进制字符串时结果不正确的问题#17620 修复查询INFORMATION_SCHEMA.INSPECTION_SUMMARY表没有指定过滤条件时返回结果为空的问题#17697 修复ALTER USER语句使用哈希后的密码更新用户信息后，密码不符合预期的问题#17646 为ENUM和SET类型支持 collation#17701 修复CREATE TABLE时预切分 Region 的超时机制不生效的问题#17619 修复某些情况下 DDL 后台作业重试时，schema 未正确更新导致的 DDL 原子性问题#17608 修复FIELD()函数的参数包含 column 时结果不正确的问题#17562 修复某些情况下max_execution_timehint 不生效的问题#17536 修复某些情况下EXPLAIN ANALYZE的结果中并发信息被多次打印的问题#17350 修复对STR_TO_DATE函数的%h解析和 MySQL 不兼容问题#17498 修复tidb_replica_read设置成follower，并且 Region 的 leader 和 follower/learner 之间出现网络分区后，TiDB 发送的 request 一直重试的问题#17443 修复某些情况下 TiDB 一直 ping PD 的 follower 的问题#17947 修复老版本的 range partition 表无法在 4.0 集群中加载的问题#17983 修复当多个 Region 的请求同时超时时整个 SQL 语句超时的问题#17585 修复解析日期类型的分隔符时和 MySQL 不兼容的问题#17501 修复少数情况下发给 TiKV 的请求错发给 TiFlash 的问题#18105 TiKV 修复 status server 的内存安全问题#8101 修复 json 数字比较的精度丢失问题#8087 修改错误的慢查询日志#8050 修复 merge 可能导致 peer 无法被移除的问题#8048 修复tikv-ctl recover-mvcc未清除无效的悲观锁#8047 修复一些遗漏的 Titan 监控#7997 修复向 TiCDC 返回duplicated error的问题#7887 PD 验证pd-server.dashboard-address配置项的正确性#2517 修复设置store-limit-mode为auto时可能引起 PD panic 的问题#2544 修复某些情况下热点不能识别的问题#2463 修复某些情况下 Placement Rules 会使 store 状态变更为 tombstone 的进程被阻塞的问题#2546 修复某些情况下从低版本升级后，PD 无法正常启动的问题#2564 TiFlash 修正 proxy 遇到region not found时可能的 panic 的问题修正 schema 同步遇到 I/O exception 时可能无法继续同步的问题更新说明：https://pingcap.com/docs-cn/stable/releases/release-4.0.2/

2020-07-03

分布式监控系统 WGCLOUD，防篡改机制优化

WGCLOUD，server端基于springboot开发，agent端使用go编写。支持高并发高性能，核心模块包括：服务器集群监控，ES集群状态监控，CPU监控，内存监控，数据监控，docker监控，网络流量监控，服务心跳检测，应用进程管理，磁盘IO监控，系统负载监控，监控告警信息推送。说明： 1.对防篡改机制进行了双向加密优化 2.此更新是针对v3.2进行优化，并不是bug修复，可以不更新码云源码下载：https://gitee.com/wanghouhou/wgcloud GITHUB源码下载：https://github.com/tianshiyeben/wgcloud 安装包下载：http://www.wgstart.com

2020-07-03

Apache Storm 2.2.0 发布，分布式实时计算

新版本还包含大量改进和 bug 修复，详情见更新说明：https://storm.apache.org/2020/06/30/storm220-released.html Apache Storm 是一个免费开源的分布式实时计算系统

2020-07-02

TiDB 4.0.1 发布，分布式 NewSQL 数据库

TiDB 4.0.1 现已发布，该版本具体更新内容如下：新功能 TiKV 添加--advertise-status-addr启动参数#8046 PD 为内嵌的 TiDB Dashboard 添加内部代理的支持#2511 添加对 PD 客户端自定义超时的设置#2509 TiFlash 支持 TiDBnew collation framework排序规则框架支持函数If/BitAnd/BitOr/BitXor/BitNot/Json_length下推到 TiFlash 支持 TiFlash 中对于大事务的 Resolve Lock 逻辑 Tools Backup & Restore (BR) 增加启动时集群版本检查，避免 BR 和 TiDB 集群不兼容的问题#311 Bug 修复 TiKV 修复日志中use-unified-pool配置打印不正确的问题#7946 修复 tikv-ctl 不支持相对路径的问题#7963 修复点查监控指标不准确的问题#8033 修复过时副本在网络隔离消除后不能销毁的问题#8006 修复read index可能过时的问题#8043 改善备份恢复文件操作的可靠性#7917 PD 防止某些场景下对 Placement Rules 的错误配置#2516 修复删除 Placement Rules 可能引发 panic 的问题#2515 修复当 Store 的已用空间为零时无法获取 Store 信息的 bug#2474 TiFlash 修复 TiFlash 中 Bit 类型列的 Default Value 解析不正确的问题修复 TiFlash 对于1970-01-01 00:00:00 UTC在部分时区下计算错误的问题更多内容可查看更新说明：https://pingcap.com/docs-cn/stable/releases/release-4.0.1/

2020-06-14

TiDB 3.1.2 发布，分布式 NewSQL 数据库

TiDB 3.1.2现已发布，该版本更新内容如下： Bug 修复 TiKV 修复 S3 和 GCS 备份恢复时的错误处理问题#7965 修复备份过程中的DefaultNotFound错误#7838 Tools Backup & Restore (BR) 提升备份恢复到 S3 和 GCS 存储的稳定性，在网络较差时会自动重试#314#7965 修复恢复数据时因找不到 Region leader 出现的NotLeader错误，BR 会自动重试#303 修复恢复数据时rowID大于2^(63)的数据丢失问题#323 修复恢复数据时无法恢复空库空表的问题#318 增加备份恢复 S3 时的 AWS KMS 服务端加密 (SSE) 支持#261 更新说明：https://pingcap.com/docs-cn/v3.1/releases/release-3.1.2/

2020-06-08

分布式系统技术：存储之数据库

经常思考一个问题，为什么我们需要分布式？很大程度或许是不得已而为之。如果摩尔定律不会失效，如果通过低成本的硬件就能解决互联网日益增长的计算存储需求，是不是我们也就不需要分布式了。

2020-06-04

分布式监控系统 WGCLOUD，新增 docker 状态监控

WGCLOUD基于java语言开发，是springboot构建的监控系统，支持高并发高性能，核心模块包括：服务器集群监控，ES集群状态监控，CPU监控，内存监控，数据监控，docker监控，网络流量监控，服务心跳检测，应用进程管理，磁盘IO监控，系统负载监控，监控告警信息推送。此次更新：新增支持监控docker，只需要输入docker container id即可开始监控。支持docker下线告警。 #自定义配置参数 base: #登陆账号admin的密码 admindPwd: 111111 #通信token，agent端和此保持一致 wgToken: wgcloud #是否开启公众看板，yes开启，no关闭，公众看板页面无需登陆 dashView: yes #数据表监控间隔,单位秒，默认60分钟 dbTableTimes: 3600 #服务接口监控间隔，单位秒，默认10分钟 heathTimes: 600 #监控数据保留天数，默认10天 historyDataOut: 10 #节点类型，master或slave，一个集群只能有一个master和N个slave nodeType: master #告警配置 mail: #告警邮件总开关，yes开启，no关闭 allWarnMail: yes #监控主机内存使用率%报警值，超过此值即发送邮件报警 memWarnVal: 98 #监控主机cpu使用率%报警值，超过此值即发送邮件报警 cpuWarnVal: 98 #内存告警邮件，yes开启，no关闭。总开关开启后，此处设置才会生效。以下开关均遵循此规则。 memWarnMail: yes #CPU告警邮件，yes开启，no关闭 cpuWarnMail: yes #主机下线告警邮件，yes开启，no关闭 hostDownWarnMail: yes #进程下线告警邮件，yes开启，no关闭 appDownWarnMail: yes #服务接口告警邮件，yes开启，no关闭 heathWarnMail: yes #数据源连接失败，告警邮件，yes开启，no关闭 dbDownWarnMail: yes #告警脚本文件，可以为空，参考：/server/template/sendMsg.sh warnScript: 码云源码下载：https://gitee.com/wanghouhou/wgcloud GITHUB源码下载：https://github.com/tianshiyeben/wgcloud 安装包下载：http://www.wgstart.com

2020-06-02

TiDB 4.0.0 发布，分布式 NewSQL 数据库

TiDB 4.0.0 现已发布，该版本具体更新内容如下： Bug 修复不要将批处理命令发送到 TiFLASH，以修复 TiFLASH 引擎的意外超时。＃17307 修复了在分区修剪期间不区分有符号/无符号整数的错误，并在某些情况下还优化了性能。＃17230 修复了从 3.1.1 升级到 4.0 失败的错误＃17300 修复了更新语句的分区选择错误，分区选择应影响整个更新语句＃17305 在发送失败并出现模棱两可的错误后修复 panic＃17380 在创建键分区表时修复 panic＃17242 ...... Changed Behaviors 默认情况下启用 Green GC。＃16955 使错误消息Transaction is too large更易于理解。＃17219 New Features 在重试提交阶段使 goroutine 计数可以由 committer-concurrency 控制＃16876 支持显示表分区区域。＃17294 支持 tidb 服务器的临时存储使用限制＃16211 更多内容可查看更新说明：https://github.com/pingcap/tidb/releases/tag/v4.0.0

2020-05-30

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。