PingCAP 发布TiDB 5.0 打造完整 HTAP 能力的分布式数据库-低调大师

PingCAP 发布TiDB 5.0 打造完整 HTAP 能力的分布式数据库

2021-04-27 627

【51CTO.com原创稿件】 PingCAP 是一家企业级开源分布式数据库厂商，成立六年来，所开发的分布式关系型数据库 TiDB 已经被全球超过1500家企业用于线上生产环境，包括像银行、电信、医院等传统企业，也有腾讯、美团、新浪微博、哔哩哔哩等互联网企业。

近日，PingCAP 正式发布面向企业级核心场景的 TiDB 5.0 版本，通过引入 MPP （Massively Parallel Processing，即大规模并行处理）架构成为具备完整 HTAP 能力的分布式数据库，为高成长企业和数字化创新场景提供一栈式数据服务平台。

企业级数据库就要“省心、放心、不担心”

在PingCAP成立之初，目标就是要开发一款通用型数据库，因为基础软件必须通用才能有更高的天花板。所以，TiDB的研发从零开始，每行代码都是PingCAP的工程师写出来的，因此核心代码（自主可控率）是100%。

早期，TiDB是一个救命型的产品，第一个用户是一家游戏公司。在这家游戏公司决定广告应该投放在什么渠道时，数据库查询出现了瓶颈。TiDB的出现，让这家游戏公司在不用修改代码的情况下，就完成了查询速度从20分钟到10秒钟的飞跃。而这个客户的需求其实就是实时分析需求，也为后来PingCAP发展HTAP做了铺垫。

在有了第一家客户后，PingCAP开始逐渐积累了众多互联网企业客户。但很多客户最关注的是你的产品有没有应用在金融行业的核心系统中，[这一句是不是表述有歧义～]于是，PingCAP又继续发展到金融等传统行业。然而，每个人对于企业级数据库的理解不一，服务过大型传统企业、闭源的、收费昂贵的软件，就真的是企业级么？

在PingCAP联合创始人兼CTO黄东旭看来，用户一定是想用一个稳定、数据不出错并且是整合的数据库，因此真正的企业级数据库应该是“省心，放心，不担心”。业务代码尽可能不修改，不学习新东西就可以搞定业务问题，用起来省心；数据不出错、不丢失、性能无抖动、维护不愁人，用起来放心；业务高速增长，数据库可以轻松应对带来的复杂性和挑战，用起来不担心。

TiDB 5.0 修炼内功

HTAP （Hybrid Transactional/Analytical Processing，即混合事务 / 分析处理）数据库能够在一份数据源上同时支撑在线事务处理（OLTP）和在线分析处理（OLAP）场景，避免了传统架构中在线与离线数据库之间大量的数据交互。Gartner 认为， HTAP 数据库将成为数据库领域的重要发展趋势，一个集成的数据平台将会加速数字化转型。

TiDB 早在 1.0 版本就实现了 OLTP Scale（在线事务处理的规模化扩展），4.0 版本已经实现初步的 HTAP 能力。黄东旭指出，TiDB 5.0更多的是在修炼内功，其中最大的一个特点就是补全MPP，使得TiDB成为具备完整 HTAP 能力的分布式数据库。这个功能的加入标志着TiDB终于成为一个横跨OLTP在线交易业务和OLAP数据仓库的具备全功能数据分析的数据库，这也是第一个开源的企业级的real-time HTAP数据库。

5.0 版本在原有 HTAP 引擎 TiFlash 的基础上引入 MPP 架构，提供与存储匹配的分布式计算引擎，进一步提升海量数据下的并行计算与分析能力。通过与 TiDB-Server 共享 SQL 前端，实现解析器（Parser）和优化器的共享，TiDB 向业务提供一体化的入口，能够自动选择单机执行或 MPP 模式，并且将事务型和分析型的负载隔离，使得双方在高并发量压力下互不干扰。

此外，TiDB 5.0 基于分布式架构，支持云原生与多云，可以弹性扩展吞吐或存储，轻松应对高并发、海量数据场景，实现一栈式数据服务。企业级用户和互联网用户都可以通过一套 TiDB 系统构建数字场景应用，而不必关注底层架构。SaaS 厂商和独立软件开发商都可以通过简化的 TiDB 技术栈获得敏捷开发、易于运维的数据底座。

TiDB 5.0 在性能方面取得了巨大的进步，通过提供聚簇索引、异步提交事务功能，在 Sysbench 和 TPC-C 等 OLTP 基准测试中，获得均值 50% 的性能提升。同时，TiDB 5.0 通过优化调度过程中对 I/O、网络、CPU、内存等资源的占用，大幅减少因为资源被抢占而出现的 QPS（每秒查询量）抖动问题，在 TPC-C OLTP 的基准测试中，衡量 TPC-C tpmC 抖动标准差的值小于等于 2%。TiFlash MPP 在 OLAP 方面更是获得了同等配置下数倍于 GreenPlum 的性能优势。

未来发展

据了解，PingCAP 成立之初就以开源作为核心战略，高度活跃的开源社区为 TiDB 产品发展带来了飞轮效应，TiDB 还是一个生态友好型的数据库，TiDB 5.0 集成了更丰富的大数据生态，新增 Kafka 连接器、支持 S3 存储服务，并提供多个数据迁移、导入与共享组件，方便用户在自己的异构环境使用 TiDB。

黄东旭指出，5.0 是 TiDB 的里程碑，标志着 TiDB 成为一个完整能力的 Real-Time HTAP 分布式数据库。但是里程碑不是终点，所有的基础软件都会在云基础设施的背景下被重新发明一遍，PingCAP 已经准备好重新出发，让数据库回归原本的样子。

【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】

【责任编辑：鸢玮 TEL：（010）68476606】

微信关注我们

原文链接：http://database.51cto.com/art/202104/660019.htm

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

微软发布开源网络渗透模拟器CyberBattleSim

微软发布了开源网络攻击模拟器CyberBattleSim，该项目使用基于Python的Open AI Gym接口构建，能够使安全研究人员和数据科学家创建模拟的网络环境。 Microsoft 365 Defender研究团队创建了CyberBattleSim，以对攻击者在最初获得立足点后如何通过网络横向移动进行建模。 “该环境由一组计算机构成网络，可对固定的网络拓扑和一组预定义的漏洞进行参数化配置，项目可以利用这些漏洞在网络中进行横向移动”。 “模拟攻击者的目标是通过利用这些漏洞来获取网络的相关权限，攻击者在网络中进行横向平移时，防御Agent会监视网络活动以检测攻击者的存在并遏制攻击”，Microsoft 365 Defender研究团队对此解释道。为了构建模拟环境，研究人员将在网络上创建各种节点，并在节点上配置运行的服务、存在的漏洞以及如何保护设备。自动化的攻击者Agent部署在环境中，攻击者会随机选择节点进行攻击。尽管许多行为可能会在XDR或SIEM系统中触发告警，但微软希望通过该模拟器更好地理解AI如何分析横向平移并更好地对其进行防御。 “借助CyberBattleSim，我...

2021-04-27

562

还不会用redis实现分布式锁？滴滴~快上车~ 前言上一篇老猫和小伙伴们分享了为什么要使用分布式锁以及分布式锁的实现思路原理，目前我们主要采用第三方的组件作为分布式锁的工具。上一篇运用了Mysql中的select ...for update实现了分布式锁，但是我们说这种实现方式并不常用，因为当大并发量的时候，会给数据库带来比较大的压力。当然也有小伙伴给老猫留言说“ 在quartz的集群模式中，就是使用了基于mysql的分布式锁，select for update ”。没错，其实quartz的集群模式中，任务执行的节点个数是可预知的，而且没有那么大的量级，所以是没有问题的。但是如果像千万级别的并发秒杀场景的情况下，那么这种方案其实是不可行的。因为mysql操作是需要IO的，IO的速度比内存速度慢，因此mysql如果在那种场景下使用的话是会存在系统瓶颈的。所以本篇就和小伙伴们分享基于内存操作的比较常用的分布式锁——redis分布式锁。手撸Redis分布式锁实现原理 redis分布式锁实现原理其实也是比较简单的，主要是依赖于redis的 set nx命令，我们来看一下完整的设置redi...

2021-04-23

625

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。