使用Hive构建数据库备战大数据时代-低调大师

使用Hive构建数据库备战大数据时代

2017-08-31 643

文章讲的是 使用Hive构建数据库备战大数据时代，当您需要处理大量数据时，存储它们是一个不错的选择。令人难以置信的发现或未来预测不会来自未使用的数据。大数据是一个复杂的怪兽。用 Java 编程语言编写复杂的 MapReduce 程序要耗费很多时间、良好的资源和专业知识，这正是大部分企业所不具备的。这也是在 Hadoop 上使用诸如 Hive 之类的工具构建数据库会成为一个功能强大的解决方案的原因。

　　Peter J Jamack 是一名大数据分析顾问，拥有超过 13 年的商业智能、数据仓库、分析、大数据和信息管理方面的经验。他将结构化和非结构化数据集成到创新性的集成分析解决方案中，使用各种各样的大数据和 MPP 平台为各行各业的客户提供大规模的、集成的分析平台，这些行业包括保险、政府、媒体、金融、零售、社交媒体、市场营销和软件等。

　　如果一家公司没有资源构建一个复杂的大数据分析平台，该怎么办?当业务智能 (BI)、数据仓库和分析工具无法连接到 Apache Hadoop 系统，或者它们比需求更复杂时，又该怎样办?大多数企业都有一些拥有关系数据库管理系统 (RDBMSes) 和结构化查询语言 (SQL) 经验的员工。Apache Hive 允许这些数据库开发人员或者数据分析人员使用 Hadoop，无需了解 Java 编程语言或者 MapReduce。现在，您可以设计星型模型的数据仓库，或者常态化的数据库，而不需要挑战 MapReduce 代码。忽然之间，BI 和分析工具，比如 IBM Cognos 或者 SPSS Statistics，就可以连接到 Hadoop 系统。

　　数据库

　　构建数据库，并且能够使用这些数据，这不是 Hadoop 或者数据库问题。多年以来，人们一直习惯将数据组织到库中。有许多由来已久的问题：如何将数据分门别类?如何将所有数据连接到集成的平台、机箱或者库?多年来，各种方案层出不穷。

　　人们发明了很多方法，比如 Dewey Decimal 系统。他们将通讯录中的人名或企业名按照字母顺序排列。还有金属文件柜、带货架的仓库、地址卡文件系统，等等。雇主尝试用时间卡，打卡器以及时间表追踪员工。人们需要结构化和组织化数据，还需要反映和检查这些数据。如果您无法访问、结构化或理解这些数据，那么存储这么多的数据有什么实际意义呢?

　　RDBMSes 使用了过集合论和第三范式。数据仓库有 Kimball、Inmon、星型模型、Corporate Information Factory，以及专用数据集市。他们有主数据管理、企业资源规划、客户关系管理、电子医疗记录和其他许多系统，人们使用这些系统将事务组织到某种结构和主题中。现在，我们有大量来自各个行业的非机构化或半结构化数据，例如，社交媒体、邮件、通话记录、机械指令、远程信息，等等。这些新数据需要集成到存储结构化的新旧数据的非常复杂、非常庞大的系统中。如何分类才能使得销售经理能够改进报告?如何构建库才能使得执行主管能够访问图表和图形?

　　您需要找到一种将数据结构化到数据库的方法。否则，只是拥有大量只有数据科学家才能访问数据。有时，人们只是需要简单的报告。有时，他们只是想要拖拽或者编写 SQL 查询。

　　大数据、Hadoop 和 InfoSphere BigInsights

　　本小节将向您介绍 InfoSphere BigInsights，以及它与 Hadoop、大数据、Hive、数据库等有何联系。InfoSphere BigInsights 是 Hadoop 的 IBM 分区。您可能对 Apache 和 Cloudera 比较了解，但是业内许多人都曾涉足 Hadoop。它开始于开源的使用 MapReduce 的 Hadoop 和 Hadoop 分布式文件系统 (HDFS)，通常还包括其他工具，比如 ZooKeeper、Oozie、Sqoop、Hive、Pig 和 HBase。这些发布版与普通 Hadoop 的区别在于它们被添加在 Hadoop 顶层。InfoSphere BigInsights 就属于这一类版本。

　　您可以在 Hadoop 的 Cloudera 版本之上使用 InfoSphere BigInsights。此外，InfoSphere BigInsights 提供一个快速的非结构化的分析引擎，您可以将它和 InfoSphere Streams 结合在一起使用。InfoSphere Streams 是一个实时的分析引擎，它开创了联合实时分析和面向批次的分析的可能。

　　InfoSphere BigInsights 还拥有内置的、基于浏览器的电子表格 BigSheets。这个电子表格允许分析人员每天以电子表格样式使用大数据和 Hadoop。其他功能包括基于角色的安全和管理的 LDAP 集成;与 InfoSphere DataStage 的集成，用于提取、转换、加载 (ETL);常用的使用案例的加速器，比如日志和机器数据分析;包含常用目录和可重复使用工作的应用目录;Eclipse 插件;以及 BigIndex，它实际上是一个基于 Lucene 的索引工具，构建于 Hadoop 之上。

　　您还可以使用 Adaptive MapReduce、压缩文本文件、自适应调度增强来提高性能。此外，您还可以集成其他应用，例如，内容分析和 Cognos Consumer Insights。

作者:徐志远

来源：IT168

原文链接：使用Hive构建数据库备战大数据时代

微信关注我们

原文链接：https://yq.aliyun.com/articles/221096

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云大数据计算服务MaxCompute（原ODPS）华南1（深圳）Region即将开服！

2017年9月7日，阿里云数加·MaxCompute（原ODPS）华南1（深圳）数据中心正式开服售卖，这是数加·MaxCompute在国内开服的第二个区域。届时MaxCompute将会针对新服开展促销活动，具体活动规则敬请期待！关于售价华南1区域价格与华东2一致，主要收费分3部分：存储、计算、下载，其中计算（指SQL和MR计算任务）分预付费、按量后付费两种模式，存储和下载都是按量后付费。做预算的具体的售价信息请看官网定价页或《计量计费文档》。关于开通确保云账号是实名认证的账号，在开通购买页面区域选择时，注意选择华南1。那么什么场景适合选择区域是华南1呢？选择地域时，您需要考虑的最主要因素是MaxCompute与其他阿里云产品之间的关系，如： ECS在华南1区域。ECS访问、下载华南1的MaxCompute数据都可以通过内网，快速又

2017-09-01

578

文章讲的是 Hadoop应用案例分析：在Yahoo的应用，关于Hadoop技术的研究和应用，Yahoo!始终处于领先地位，它将Hadoop应用于自己的各种产品中，包括数据分析、内容优化、反垃圾邮件系统、广告的优化选择、大数据处理和ETL等;同样，在用户兴趣预测、搜索排名、广告定位等方面得到了充分的应用。在Yahoo!主页个性化方面，实时服务系统通过Apache从数据库中读取user到interest的映射，并且每隔5分钟生产环境中的Hadoop集群就会基于最新数据重新排列内容，每隔7分钟则在页面上更新内容。在邮箱方面，Yahoo!利用Hadoop集群根据垃圾邮件模式为邮件计分，并且每隔几个小时就在集群上改进反垃圾邮件模型，集群系统每天还可以推动50亿次的邮件投递。目前Hadoop最大的生产应用是Yahoo!的Search Webmap应用，它运行在超过10 000台机器的Linux系统集群里，Yahoo!的网页搜索查询使用的就是它产生的数据。Webmap的构建步骤如下：首先进行网页的爬取，同时产生包含所有已知网页和互联网站点的数据库，以及一个关于所有页面及站点的海量数据组;然后...

2017-09-01

640

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。