Greenplum HTAP 技术入选国际数据库顶尖会议 SIGMOD-低调大师

Greenplum HTAP 技术入选国际数据库顶尖会议 SIGMOD

2021-04-12 456

ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。 SIGMOD和另外两大数据库会议VLDB、ICDE构成了数据库领域的三个顶级会议，其论文录取率是很低的，平均录取率大约仅为15%-17%。

上次SIGMOD在中国举行还是2007年的北京，时隔14年，SIGMOD 2021将于烟花六月（6月20日）再次来到中国，走进古城西安。而本次会议中，Greenplum数据库内核团队的论文《Greenplum: A Hybrid Database for Transactional and Analytical Workloads》也成功入选SIGMOD的收录论文。

传统数据库领域包含两大业务场景：OLTP和OLAP。过去，两大业务场景需要依赖不同的数据库产品，数据在不同数据库之间融通的过程中往往容易产生数据孤岛、数据的时效性、数据的一致性等问题。由Gartner提出的HTAP数据库（混合事务/分析处理，Hybrid transactional and analytical processing）是近年来数据库领域的一个热门方向，由HTAP数据库提供的实时分析能力已经成为企业的核心竞争力之一，大概可以有几个路径：在OLTP系统里增加AP的能力从而转向HTAP，从NewSQL转向HTAP，而 Greenplum的论文则展示了怎样从OLAP系统转向HTAP，对业内数据库发展和演进有极大的启发和参考意义。

在本篇论文中，Greenplum团队对如何将纯OLAP数据库转换为HATP数据库进行了广泛的讨论和研究，详细分析了如何在保证ACID（保证数据的原子性，一致性，隔离性和持久性）的同时，最小化由此造成的开销。

论文首先讨论了对于当前MPP-OLAP数据库在保证查询ACID时的两个主要开销，分别为独占锁和两阶段提交；分析了在MPP-OLAP系统中支持高性能MPP-OLTP所遇到的资源竞争问题也就是如何高并发状态下的性能。

基于一系列讨论和分析，Greenplum团队提出一种全新的全局死锁检测器来减少独占锁的使用。减少独占锁的使用可以极大的提高数据库在高并发状态下的性能。此外对于只在单个节点上操作的查询，Greenplum将两阶段提交优化为单阶段提交，这样可以大幅减少原本两阶段提交中的时间和网络开销。为了进一步提高HTAP的性能，Greenplum引入了资源组的概念，使得数据库可以很好的对OLAP查询负载和OLTP查询负载进行对应的资源隔离，极大的提高了整个系统的利用率。

论文中的所有的成果均已应用在了最新版本的Greenplum 中，基于TPC-B和CH-benCHmark数据集进行的测试也显示出最新版本的Greenplum的OLTP性能有了极大的提升，与此同时之前的OLAP查询的性能没有受到任何影响。实验结果也显示了新版的Greenplum Database作为一个HTAP数据库，具备同时支持企业级的OLAP和OLTP负载的能力。

作为一款主打OLAP和数据分析的数据库，过去十几年，Greenplum团队一直以分析型查询作为主要优化对象。近年来，随着PostgreSQL内核的升级（Greenplum 6版本搭载的是PostgreSQL 9.4版本，master分支上目前是PostgreSQL 12，预计明年年初GA的7版本也将基于PostgreSQL 12版本）和客户对OLTP型查询需求的提升，Greenplum团队对OLTP型查询进行优化。

2019年发布的6版本让Greenplum的混合事务和分析处理HTAP能力得到了进一步提升，预计于2022年年初发布的Greenplum 7版本在AP和TP上将具有比论文描述更优异的性能。6版本Greenplum支持OLTP的目标是达到单节点TP数据库同一能力量级，譬如PostgreSQL，Oracle等。从目前测试来看，基本达到这一目标，具体可以参考相关测试文章:

未来还有很长的路要走，Greenplum正在不断前进。更多相关论文细节将在后续文章中揭秘

微信关注我们

原文链接：https://www.oschina.net/news/137048/greenplum-htap-sigmod

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

小诺 Vue 版 v1.3.4 PostgreSQL 适配，修复了一些 bug

小诺vue版本为小诺系列RABC权限管理框架中前后分离版本，基于SpringBoot + AntDesignVue前端的后台权限管理系统，此次版本更新内容主要为适配 PostgreSQL数据库，多套数据库，1台代码，统统搞定！详细更新如下： 1、【更新】调整了oracle mssql链接数据库名 2、【修复】修复根据节点id获取父节点和子节点id集合且包含自己的方法中未包含自己id的bug 3、【新增】新增PostgreSQL数据库脚本，解决已测试出适配后异常的代码 4、【更新】定时任务查询条件中根据状态查询使用eq，不使用like 我们定位到xiaonuo根目录下的pom.xml：接下来定位到 xiaonuo-vue/xiaonuo-base/xiaonuo-core/pom.xml下：最后一步链接数据库：如果我们项目能给更多小伙伴带来便捷，我们很欣慰，欢迎Star、Fork代码！接下来我们还要适配更多主流数据库，感谢各位关注！

2021-04-12

680

什么是边缘计算?为什么对组织很重要?边缘计算与云计算有什么关系?边缘计算专家对边缘计算和常见用例进行了解释和分析，并分享了一些示例。边缘计算可以实现从联网汽车、智能手表到血糖监测仪和无人零售等各种功能。但是，并不是每个人都理解组织为什么要关心这个问题——这需要IT领导者去进行一些解释。边缘计算目前已成为一种趋势。正如SPR公司云计算业务高级顾问George Burns所说：“边缘计算是当前的行动之所在。”在调研机构IDC公司最近的一项调查中，73%的受访者表示将边缘计算视为一项战略投资，另有17%的受访者表示，企业运营需要采用边缘计算技术。 Red Hat公司首席技术策略师E.G. Nadhan对同事或客户就边缘计算为何重要提出的问题进行了解释：“为使边缘计算设备变得更加智能，组织需要处理自己收集的数据，及时分享见解，并在适用时采取适当的行动。边缘计算让边缘设备执行这样的操作而无需将数据传输到云平台或内部部署环境。” Nadhan继续说：“换句话说，边缘计算使数据和计算更接近交互点。” 很多组织已经将许多工作负载转移到了混合云平台。但是，正如凯捷集团旗下工程商Altran公司的首席...

2021-04-12

495

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。