SQL卷土重来成就炙手可热的大数据-低调大师

SQL卷土重来成就炙手可热的大数据

2017-08-31 545

文章讲的是 SQL卷土重来成就炙手可热的大数据，看似NoSQL数据库在过去几年中迎来了发展的春天，而传统数据库却缺乏施展空间。其实情况正好相反，“结构化查询语言(SQL)“实际已经在原本看似难以发挥的领域占据了统治地位，这就是“大数据”。

　　近日在美国召开的Hadoop峰会上，众多新产品与合作都围绕“大数据”分析这一核心展开。其中最令人惊讶的在于，一项已经存在数十年的技术伴随着海量数据处理方案再次出现在人们面前。此次峰会上的大多数企业都以SQL为基础的新技术作为大数据分析的主要接口。

　　“看起来没有哪家Hadoop相关方案供应商能够在改进SQL之外拿出新型产品，”曾任Concurrent公司数据科学负责人、现任Mesosphere公司首席科学家的Paco Nathan在Hadoop峰会的演讲中指出。“其中一些方案甚至出色到让人质疑。”

　　以Hadoop为基础

　　Hadoop是一款开源批量处理存储及分析引擎，以谷歌发布的MapReduce及谷歌文件系统技术研究论文为基础。它充当着众多“大数据”分析工具的底层技术，旨在对由Web访问、服务器日志及其它各类数据流所产生的海量数据进行筛选。举例来说，Facebook在其Hadoop集群中保存着超过30PB的数据，并为Hadoop创建了Hive查询前端(目前已经成为Apache开源项目)。美国国家安全局利用Accumulo数据库进行情报数据的实时分析工作，这套数据库同样以Hadoop为基础。

　　不过技术人员在学习Hadoop系统时遇上了诸多挑战，这是因为该机制要求用户充分理解问题解决策略(也就是MapReduce)并掌握支持MapReduce所必需的编程语言。MapReduce利用批量并行处理工作对规模化数据进行分类，而SQL则成为绝大多数关系型数据库及技术人员高效发掘并分析数据的利器。尽管Facebook所创建的Hive能为Hadoop提供一套类似于SQL的前端，但它仍然无法完全重现SQL语义或者达到与SQL等同的执行速度——这是因为它只是将查询转译成可为Hadoop接纳的批量处理式MapReduce工作。

　　在过去六个月中，供应商们已经根据市场需求推出了一系列具备完整SQL查询功能且性能表现显著优于现有Hive/Hadoop系统的系统方案，从而满足企业用户降低使用门槛的呼吁。这些新系统允许用户对全局数据集进行完整的SQL查询，而且在大多数情况下能够完全绕过Hadoop(尽管某些产品仍属于混合型方案)。规模化高速SQL查询的实现终于令大数据分析成为大部分企业员工能够掌握并适合现有工作流程的实用性解决方案。

　　下面我们就具体看看SQL大数据方案中的主要代表：

　　· Facebook的Presto：这套实时查询引擎能够为Facebook的Hadoop数据存储提供直接SQL接口。Facebook计划于今年秋季将Presto以开源项目的形式推出。

　　· Amazon Web Services的RedSift：该服务提供一套基于SQL的数据存储服务，能够处理数据规模在1.6PB以内的全部数据库查询。

　　· HortonWorks的Stinger：旨在改进Hive的SQL接口，并将Hive的速度提升上百倍。

　　· IBM的BigSQL：这是一套专为Hadoop开发的SQL查询引擎。BigSQL回避了MapReduce，通过与Hadoop分布式文件系统对接以处理只读查询及HBase(即Hadoop数据库引擎)事务查询对数据的读写操作。

　　· EMC的HAWQ：这套SQL查询引擎专门用于该公司的Pivotal HD版本Hadoop。

　　· Cloudera的Impala：这是一套去年十月刚刚发布的Hadoop专用实时查询接口。

　　Hadoop本身也将迎来一系列变更，从而使Hadoop数据的SQL查询流程更为便捷。将于今年年底推出的Hadoop 2.0利用名为YARN的模块化架构替代原本的MapReduce代码，允许多种分析系统与MapReduce共存于系统当中。

作者:核子可乐编译

来源：IT168

原文链接：SQL卷土重来成就炙手可热的大数据

微信关注我们

原文链接：https://yq.aliyun.com/articles/221853

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里专家刘应耀：探索阿里数据藏宝图

文章讲的是阿里专家刘应耀：探索阿里数据藏宝图， 2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。 ▲2013 Hadoop中国技术峰会 Hadoop中国技术峰会由China Hadoop Summit专家委员会主办，由IT168、ITPUB、ChinaUnix协办，渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题，旨在通过开放、广泛的分享和交流，着力于促进中国企业用户提高应用Hadoop的能力和水平，降低Hadoop技术应用门槛和投资预算门槛，推广大数据的应用价值。 ▲阿里巴巴高级技术专家刘应耀在下午的一场分论坛演讲中，来自阿里巴巴高级技术专家刘应耀发表了题为《探索阿里数据藏宝图——数据地图》的主题演讲，其主要介绍了我们面对大数据，应该关注些什么?...

2017-09-01

635

文章讲的是大数据概念潮来势凶猛你被忽悠了吗，近年国内大数据概念被炒得愈发火热，相关的产品厂商也如雨后春笋般应运而生，大数据服务市场迎来爆发期。然而，很多大数据服务仍然处于“玩概念”的阶段，大数据只被当做噱头，并没有发挥其实质作用，还有许多用户购买了产品才发现自己被忽悠了。这种现状下，大数据不免被扣上“华而不实”、“炒作为生”的帽子，那么我们应该如何正确看待大数据? 大数据概念大数据只是一个名词，并不是数据量大就一定是大数据，假设单机器处理能力10G，那么大于10G就是大数据。网友heguangwu认为，大数据的核心是Value，哪怕用excel分析也可以。当前的趋势是数据存储和分析代价越来越小，所以能保存的数据的广度和分析的深度都在扩大。以前出于成本考虑，不在保存分析范围内的数据，现在也开始作为一个参考的维度了。对企业而言，如何从更多的数据集分析出更有价值的东西才是他们所关心，即使是小企业有的也开始考虑(做大数据方面的投入)。网友chenxing2从事SQL相关工作，其公司不久前做了一个ERP，增加功能包括贡献度、销售构成、ABC分析、冻销分析、商品趋势、销售速度、业绩趋势等...

2017-09-01

529

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。