Release BaikalDB v2.0.0 · baidu/BaikalDB (github.com)

Notice:  

滚动升级顺序：BaikalMeta=>BaikalStore=>BaikalDB
如没特殊说明，后续升级步骤都应该按上述顺序进行

New Features：

• 支持cmake编译
• 增加bvar监控
• 修复部分统计信息问题
• 支持b'11'、 0b11、 x'AA'、 0xAA 字面
• 支持子查询
• 支持table t1 join table t2
• 支持binlog
• 增加全局索引的online ddl操作，alter table xxx add index global idx(filed);
• 代价相关会结合一些规则判断，增加索引选择正确率
• 暂时使用直方图+内部的distinct count做等值判断，cmskectch在大表情况下准确性较低
• 支持information_schema流程 ，需要添加新的information_schema的表可以参考src/common/information_schema.cpp
• 统计信息和规则选择索引部分做了修改，选择更准确些
• 增加虚拟索引，alter table id_name_c add VIRTUAL index idx_name (name); 查看受影响的sql：show virtual index;用来新建索引前评估影响
• using docker-compose to build a minimal three node cluster
• 增加roaringbitmap，可以用于精确统计一些uv，用法与hll类似
• 增加TDIGEST用来做分位值的估算
• 增加db探测store的功能，在单个store假死的情况下可以快速恢复系统，集群更稳定
• addpeer前会检查rocksdb是否stalling，提前拒绝addpeer，减少禁写风险
• 增加dataindex，在install snapshot时会判断follower的数据是否已经是新的
• 默认从snappy改成增加lz4压缩
• 最底层增加zstd压缩，通过-enable_bottommost_compression开启
• add funcs: date_add, date_sub, utc_timestamp, last_insert_id
• rocksdb事务锁改成bthread锁；不阻塞pthread
• store增加令牌桶流控(qos)，对每类sql做并发限制，降低突发流量对正常sql的影响，默认不开启
• 对每个请求做内存限制，通过db_sql_memory_bytes_limit(8G)和store_sql_memory_bytes_limit(16G)控制
• 定期调用tcmalloc接口回收内存src/common/memory_profile.cpp
• 支持loaddata语句，load的文件目前只能放在server端（相对于baikaldb的路径）
• 一个表多机房时可以设置一个主机房(main_logical_room)，leader总是在主机房内
• 增加索引屏蔽概念，已屏蔽的索引不会被选择，在线索引操作调整：

    - drop index设置屏蔽状态，2天（table_tombstone_gc_time_s）后自动发起删除流程；目的是删错索引可以快速restore恢复，减少误操作影响
    - add index流程走完后，索引为屏蔽状态，需要二次确认restore；防止流程走完后，索引影响老业务，并且无人关注到
   - 屏蔽状态的索引转为正常索引：alter table xxx restore index idx

Bug Fixes：

• 修复meta双buf问题
• 修复多次删除创建同名后restore恢复表不一致问题
• 单语句事务可能会导致raft卡住的bug修复
• 修复之前GetApproximateSizes不准的bug
• 修复一些可能的内存泄露问题
• 修复只读事务bug，优化部分流程
• prepare insert current time default value
• fix count(*) return NULL expected 0 when filter expr is always false
• ignore non-json format comment for sql string
• update last_insert_id when client set the value

Performance Improvements:

• 主表、索引覆盖、全局索引seek优化，去除table_record到mem_row的转化
• 通过plan复用优化select prepare stmt性能
• 提升cstore扫描性能
• 降低qos，memlimit的开销
• 增加了推荐的conf配置