《Hive编程指南》一导读-低调大师

《Hive编程指南》一导读

2017-05-01 533

前言

Hive编程指南
本书是一本Hive的编程指南。Hive是Hadoop生态系统中必不可少的一个工具，它提供了一种SQL（结构化查询语言）方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS、Amazon的S3和像HBase（Hadoop数据库）和Cassandra这样的数据库中的数据。

大多数数据仓库应用程序都是使用关系数据库进行实现的，并使用SQL作为查询语言。Hive降低了将这些应用程序转移到Hadoop系统上的难度。凡是会使用SQL语言的开发人员都可以很轻松地学习并使用Hive。如果没有Hive，那么这些用户就必须学习新的语言和工具，然后才能应用到生产环境中。另外，相比其他工具，Hive更便于开发人员将基于SQL的应用程序转移到Hadoop中。如果没有Hive，那么开发者将面临一个艰巨的挑战，如何将他们的SQL应用程序移植到Hadoop上。

不过，Hive和其他基于SQL的环境还是有一些差异的。如今，可供Hive用户和Hadoop开发者使用的文档并不多，所以我们决定撰写这本书来填补这个缺口。我们将对Hive进行全面详实的介绍，主要适用于SQL专家，如数据库设计人员和业务分析师。我们也谈到了深入的技术细节，可以帮助Hadoop开发人员对Hive进行调优和定制。

第1章　基础知识
1.1　 Hadoop和MapReduce综述
1.2　 Hadoop生态系统中的Hive
1.3　 Java和Hive：词频统计算法
1.4　后续事情
第2章　基础操作
第3章　数据类型和文件格式
第4章　HiveQL：数据定义
第5章　HiveQL：数据操作
第6章　HiveQL：查询
第7章　HiveQL：视图
第8章　HiveQL：索引
第9章　模式设计
第10章　调优
第11章　其他文件格式和压缩方法
第12章　开发
第13章　函数
第14章　Streaming
第15章　自定义Hive文件和记录格式
第16章　Hive的Thrift服务
第17章　存储处理程序和NoSQL
第18章　安全
第19章　锁
第20章　Hive和Oozie整合
第21章　Hive和亚马逊网络服务系统（AWS）
第22章　HCatalog
第23章　案例研究

微信关注我们

原文链接：https://yq.aliyun.com/articles/98166

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《数据科学家修炼之道》一2.2 新规则

本节书摘来异步社区《数据科学家修炼之道》一书中的第2章，第2.2节，作者：【美】Zacharias Voulgaris（弗格里斯）译者：吴文磊 , 田原责编：陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.2 新规则数据科学带来了许多新规则的繁荣，这些新规则由一些很棒的工具组成，主要有如下几种。 MapReduce是一个并行、分布式的算法，用来把负责的任务分割成一系列简化的任务，之后用一种非常有效率的手段解决它们，基于此可以增加处理复杂任务的性能以及降低计算资源的成本。尽管这个算法之前就存在，但它在数据科学中的广泛应用仍增加了它的知名度。 Hadoop分布式文件系统（HDFS）是一个旨在充分利用并行计算技术的开源平台，它基本上是通过把大数据分拆成小块然后分发给在网络上计算机来实现管理。高级文本分析常常是指自然语言处理（NLP），这是一个数据信息领域，包含许多从非结构化文本数据提取有效信息和商业智能的技术。在数据科学之前，这个领域并不存在。大规模数据程序语言（例如Pig、R、ECL等）是可以有效地处理大数据集的编程语言。它们在数据科学出现前处于开发状态或完...

2017-05-02

651

Data Integrity HDFS transparently checksums all data written to it and by default verifies checksums when reading data. A separate checksum is created for every io.bytes.per.checksum bytes of data. The default is 512 bytes, and since a CRC-32 checksum is 4 bytes long, the storage overhead is less than 1%. 关于数据一致性, Hadoop通过CRC-32的校验和来保证 Compression Compression and Input Splits 关注一下这个问题, 并不是每一种压缩都支持splits, 比如gzip就不支持, 知道gzip的原理就知道, 他通过指针指向前面已经出现过的数据, 所以单独给你一块, 你无法解压. Serialization Serialization ...

2017-05-02

565

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

《Hive编程指南》一导读

前言