不同SQL-on-Hadoop引擎怎样满足BI负载-低调大师

不同SQL-on-Hadoop引擎怎样满足BI负载

2017-08-31 462

文章讲的是 不同SQL-on-Hadoop引擎怎样满足BI负载，如何让不同的 SQL-on-Hadoop 引擎满足BI工作负载根据新的基准，三个领先 SQL-on-Hadoop 引擎——ApacheImpala 2.3、 Apache Spark 1.6 和 Apache Hive 1.2，它们都有独特的优势和弱点，它们可能非常适合一些商业智能 (BI) 用例但是并不适合另一些。

　　AtScale创始人和首席执行官戴夫·马里亚尼表示：“现在其中任何一个引擎都不满足所有的要求，我们客户部署的时候，都是穿插多个引擎的。”目前，AtScale专攻对 Hadoop 的双启动。

　　基于Hadoop 的商业智能，AtScale 着手为他们的 BI 技术评估用例选择最佳的SQL-on- Hadoop 技术。AtScale 的测试团队使用星级架构基准 (SSB)的数据集，基于广泛使用的 TPCH 数据进行修改，以便找出更准确地表示典型的双向拉伸的数据布局。数据集允许测试团队跨越大表进行测试查询︰lineorder 表包含近 60 亿行，其中大客户表含超过 10 亿行。

　　SQL-on-Hadoop引擎有不同“甜蜜点”的工作负载

　　马里亚尼解释 AtScale 根据三个关键的要求来评估 SQL-on-Hadoop 引擎是否适合继续满足 BI 工作负载︰

　　1.对大数据的执行力。SQL-on- Hadoop 引擎必须能够不断分析几十亿或数万亿的数据行，而不会生成错误，生成订单的响应时间在10秒到100秒之间。

　　2.快速处理小数据。引擎需要对已知的查询模式提供交互式的性能,其中很重要的是，SQL-on- Hadoop 引擎返回小数据集 (几数以千计或数以百万计的行)结果时时间不超过几秒钟。

　　3.多用户稳定运行。企业 BI 用户基地由几百或甚至数千个数据工人组成。底层的 SQL-on- Hadoop 引擎必须在高并发分析工作负载下可靠地执行。

　　在雅虎领导建立了世界上最大 OLAP 多维数据集的马里尼亚表示：根据测试团队在金融服务、医疗保健、零售、电信和其他行业一大批企业的测试结果，他相信这三个标准是做基于Hadoop的BI企业必须满足的基本要求。

　　AtScale 的产品管理副总裁Josh Klahr补充到：“我们给很多真实企业做了评价报告，其中每一个技术的计算器都作为其评价过程的一部分”。

　　最后测试团队发现三个引擎合作可以通过测试并足够稳定，能够支持 BI 工作负载，但单独一个引擎不适应所有的需要。每个引擎都有自己的"甜蜜点"，企业很可能会发现混合使用所有的引擎才是最适合自己的。

　　虽然Hive一般认为是为SQL-on-Hadoop默认使用的，但是因为它较高的延迟性所以并不适合交互式查询。

　　马里亚尼说，"如果您的交互式查询引擎只使用Hive，那么等待2.4 秒就是你能做到的最好的情况"。

　　尽管Hive可能缓慢，但它却是最稳定的，并且可以跨越多个查询类型。

　　马里亚尼补充道："Hive尽管缓慢，但它总是会完成了比赛。"

　　另一方面，Impala和Spark他们主要应用在较小的数据集的时候。Impala在负荷领域优于Spark，但马里安尼发现Spark 1.6 与Spark 1.5 相比性能有了巨大的改进，他预计Spark未来将在大型开源社区占有优势。Cloudera看重Impala未来发展的附加价值，最近向Apache 软件基金会提出了捐赠议案。

　　现在，Impala是大用户用例之首。

　　"Impala在并发方面的表现很卓越，"马里亚尼说。"如果你要有一大堆的小用户用例运行，需要快速查询，Impala会是比Spark更好的选择。”

　　"如果速度并不是一个优先考虑的事项，但这时稳定性和可靠性是我所需的，那么我会选择去选择Hive作为我的数据管道引擎，"他补充道。"对于需要大批处理工作负载，我会选择Hive。如果我想我的BI用户能访问到我的仓库，我会选择使用Spark或Impala。

　　马里亚尼指出，虽然现在没有基准引擎像 Apache Drill或者Apache Presto，但是很快会来到。

　　"你永远不会知道这其中谁会是黑马。"他说。

作者: 田晓旭　

来源：IT168

原文链接:不同SQL-on-Hadoop引擎怎样满足BI负载

微信关注我们

原文链接：https://yq.aliyun.com/articles/216536

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

分析：大数据时代下的存储平台选择

文章讲的是分析：大数据时代下的存储平台选择，大数据是时下最热门的企业IT话题，那么大数据对存储有什么要求呢? 为了解决这个问题，我们首先来分析一下大数据的特点。 Gartner对大数据下了一个简洁的定义：“大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。” 所以，大数据既包含结构化数据也包括非结构化数据，而且是以数量巨大、变化率高的形式存在。大数据如此热门的主要原因是因为它能提供可行性的见解。企业通常使用分析应用来提取大数据里的本来难以挖掘的信息，而这是用现有的技术和方法不可能办到的。像石化工业和金融服务行业已经使用数据仓库技术来处理大量的数据几十年了。但这并不是指现在所谓的大数据。主要区别在于，现在的大数据包括非结构化数据，并且可以从各种数据中提取有用的信息，比如邮件、日志文件、社交多媒体、商业交易及其他数据。比如，保存在数据库里的一家连锁零售商店的某商品的销售图表数据。对这些数据的获取就不是大数据范畴的问题。但是如果企业需要把某商品的销售量和特定时刻的天气状况，或者不同的消费者信息联系起来，并且要求能快速获取这些信息...

2017-09-01

559

ZD至顶网服务器频道 08月22日新闻消息：为了更好地满足用户对大数据基础平台的需求，企业级基础云服务商青云QingCloud（qingcloud.com）日前宣布正式推出HBase集群服务，包含HBase数据库服务、HDFS分布式文件系统、Phoenix查询引擎三大组件。在原生HBase的基础上，QingCloud在配置的易用性、监控告警、在线伸缩等方面进行全面优化，并支持二级索引、SQL和JDBC API，以及完全ACID事务等高级功能，用户能够在2-3分钟内创建一个HBase集群，并能够在控制台直接修改配置文件并应用，极大地减轻了HBase集群的运维难度。作为Hadoop生态圈的重要成员，HBase是一个具有高可靠性、高性能、可伸缩性、列式存储的分布式NoSQL数据库。与关系型数据库相比，HBase能够支持PB级的数据量和每秒百万次的吞吐量。通常情况下，HBase应用于建立互联网索引、推荐系统后台、浏览历史及监控数据的存储和查询等场景。依托Hadoop的分布式文件系统HDFS作为底层存储，HBase能够为数十亿行、数百万列的海量数据表提供随机、实时的读写访问。与Hadoop...

2017-09-01

479

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。