数据分析崛起 列式存储+内存分析引领“潮流”

　　传统做交易数据库的厂商今年都忙着推出最新的分析型数据库，这是他们之前并不太关注的领域。事实上交易型数据库管理系统的技术复杂度与门槛要远高于分析型系统，对于这种厂商集体“向后转，齐步走”的行为，IBM的负责人总结的很好：数据分析市场的增长速度非常之快，客户对应用的需求已经从之前的记录系统(system of record)应用逐渐转向员工系统(system of engagement)应用。也就是说从交易型工作负载转移到了范围更广、发展速度更快的分析型工作负载。可以说分析已经无处不在。

　　分析型数据库中的一个主要技术就是列式存储，将数据以列的方式存储在数据库当中，一方面能够对数据进行更深度的压缩，控制数据量同时减少I/O，提升数据分析性能。列式数据存储并不是什么新技术，在当年的Sybase IQ以及Vertica等数据库产品中已经得到了广泛的应用。在新一轮的数据分析浪潮当中，内存技术的崛起让列式数据库有了更广阔的发挥空间，压缩过的数据可以全部放到内存中进行分析，把数据库性能推向了极致。列式存储+内存分析在某种程度上已经成为新时代数据库技术的“标配”。

　　IBM推出DB2 BLU技术，加速大数据分析

　　今年对于DB2来说是不同寻常的一年，因为这个关系型数据库的鼻祖迎来了它“30岁的生日”。我们也专门为DB2策划了一个专题，回顾了它过去30年的发展历程。今年4月份，IBM推出了最新版的DB2 10.5数据库，其中增加了BLU加速器功能，让用户的目光再次聚焦在IBM的旗舰级关系型数据库之上。

　　DB2 BLU加速器是一个压缩优化、内存优化的基于列式的数据库产品。在技术方面它的亮点主要包括：查询功能完全管道化(pipelining )，表扫描可以共享;数据忽略(Data Skipping)功能能够有效降低I/O;基于单指令多数据结构(SIMD)的矢量化(Vectorization );概率缓存取代传统LRU(Least Recently Used)，经常被引用的数据块出现在内存当中的几率就越大。这一功能的背后还有更复杂的随机算法支持;“自动化工作负载管理”功能，IBM认为查询之间的资源争用是造成资源浪费的主要原因，这一功能让BLU加速器与传统DB2数据库相比在并发性上产生差异性优势。

　　当然，DB2 BLU加速器也存在一些的限制和不足。通过与IBM技术人员的沟通我们发现，DB2 BLU加速器并不会自动化地区分哪些数据库表该用列式存储，哪些该用传统的行式存储，IBM认为数据库的负载变化是不好预测的，因此目前的技术还没有达到要求。另外DB2 BLU加速器目前还只是支持纵向扩展(Scale-up)，也就是说基于单一服务器，这也影响了内存技术发挥其更大的作用。希望IBM能够尽快解决这一问题。

　　Oracle“服软”，内存数据库选件挑战SAP神经

　　虽然嘴上说与SAP HANA没有可比性，但明眼人都能看出来今年10月份推出的Oracle内存数据库选件(in-memory database option)是冲着SAP来的。目前大部分SAP的应用是跑在Oracle数据库上的，但谁也不能保证10年以后还是这样，因为SAP在大力推广他们的HANA数据库并且收到了不错的效果。就连数据库技术大牛Michael Stonebraker也预测未来Oracle会感受到来自SAP的压力。那么现在问题变成了，当Oracle也有类似产品，并且能够保证应用的无缝迁移时，客户会选谁家的产品?

　　每次开大会，Oracle几乎都不会忘了吐槽SAP两句，今年的OpenWorld也不例外。但今年SAP没有再选择隔空喊话，而是直接把飞机开到旧金山上空“砸场”。SAP的史维学还特意录了视频欢迎Oracle加入内存数据库派对，开玩笑问为什么Larry花了4年的时间才醒悟过来HANA的路是正确的。那么Oracle的内存数据库和HANA相比究竟有哪些区别呢?

　　首先Oracle内存数据库选件支持两种方式的数据存储格式，即传统的行式存储，以及新的列存储。针对同一个数据和表，Oracle内存数据库能够同时以两种格式进行存储，并同时进行更新(增删改)并保持一致。比如增加一行数据到一张表，以列格式存储的数据也会同步更新。对OLAP方面的性能提升无需多言，而且它删除了大量原来用于统计的索引，也间接提升了OLTP性能。此外，所有传统的Oracle数据库可用性功能在启用新的内存数据库选项时，都不会发生变化。应用也可以无缝运行在Oracle内存数据库选件上，这对于SAP应用的客户来说是非常有吸引力的。事实上，数据库平台的迁移会带来大量底层架构以及前端应用的变动，这是客户无法接受的。如果客户可以使用原来的技术同时又能保证未来系统对性能的需求，那么相信没有谁会想这么折腾。

　　SAP HANA：体现的是平台价值

　　SAP已经把HANA视为最重要的技术，而包括应用软件(Business Suite、HCM)、云计算以及移动等平台在未来都将围绕HANA进行构建。其优势在于它已经在列式存储+内存分析这条路上走了3年多时间，如果算上之前的Sybase IQ已经有十几年的时间，而包括IBM的DB2 BLU也只是刚刚发布，Oracle的内存数据库选件正式发布时间还未确定。虽然占比不高，但SAP HANA确实已经有一些上线的安装基础了，这确实是IBM、Oracle无法与SAP相比的地方。

　　SAP认为，企业的系统核心、数据结构以及处理流程越一致，其ERP所能发挥的效能就越高。SAP在努力说服客户从Oracle迁移到HANA平台上，忽略底层技术的复杂性，更关注于最终实现功能的周期以及系统性能的提升。因为客户对新技术的抵触情绪是阻碍HANA进一步普及的主要原因之一，客户需要看到更多HANA成功案例，而SAP自己就是最大的证明，他们只用了一年的时间就将公司的BW、CRM和ERP系统迁移到了HANA平台上。

　　今年五月份，SAP宣布Business Suite on HANA正式GA(general availability)，预计到年底 Business Suite on HANA的目标客户将达到600以上。而SAP认为HANA还有很大的提升空间，比如接近实时的处理非常复杂的查询，以及更高的查询速度。另外SAP也与合作伙伴努力打造HANA生态系统，推出单一服务器的HANA一体机，比如HP的服务器已经支持12-48TB的DRAM;IBM也在x86架构服务器上为HANA提供了解决方案，通过独特的设计能够让HANA的性能发挥到极致;SAP还通过AWS为用户提供HANA one平台服务。在横向扩展(scale out)方面，SAP还实现了1万个CPU核心，250 TB数据的HANA集群部署。

　　“SAP HANA不是无聊的数据库，而是企业未来创新的基础平台。”这是SAP想传递给客户的关键信息。扩展阅读：SAP HANA：凸显平台的价值

　　微软SQL Server 2014主打内存OLTP

　　虽然在企业级层面微软的数据库技术同上述三大厂商相比还有一定差距，但微软一直在努力缩短这一差距。在SQL Server 2012刚刚发布一年多时间之后，下一代数据库平台SQL Server 2014也即将问世。目前微软已经完成了第二版的社区预览，也正式版之前的最后一个测试版本，在明年年初SQL Server 2014就将迎来最终发布。

　　与IBM、Oracle以及SAP不同，微软SQL Server 2014主打的并不是分析系统，而是利用内存技术提升OLTP性能。据了解，微软这一以“Hekaton”为代号的项目将正式更名为SQL Server内存OLTP引擎。微软针对在OLTP操作进行了大量的优化，这些操作将在内存中完成，能够在提升性能的同时，支持更大的读负载。与其他类似产品不同的是，SQL Server 2014的内存数据库功能将不依赖于昂贵的硬件，用户可以自行选择哪些数据库表放到内存里，哪些放在硬盘上。而像HANA这样的产品是完全基于内存的，需要购买成本较高的硬件设备进行支持。SQL Server 2014使用现有的硬件设备就可以充分利用微软内存数据库的优势。

　　此外，SQL Server 2014还将与Windows Azure进行更紧密的集成，包括将Azure VM用作AlwaysOn高可用性组的副本，内置了Azure备份支持等。在列存储方面，SQL Server 2014也将推出新一代的xVelocity ColumnStore技术，它可以对数据进行持续加载，同时列存储索引能够让SQL Server在索引中对数据进行压缩，从而进一步提升查询性能。与之前的版本相比，SQL Server 2014可以在已有的列存储索引中对数据进行加载和删除操作。

作者:孙瑞

来源：IT168

原文链接：盘点数据库2013之一：数据分析崛起