Hadoop Hive概念学习系列之HiveQL编译基础（十）-低调大师

Hadoop Hive概念学习系列之HiveQL编译基础（十）

2017-11-05 573

　由客户端提交的HiveQL语句将最终被转换为一个或多个MapReduce任务并提交由Hadoop执行。不包含聚合和连接的简单SELECT语句可以使用一个单独的只包含Map阶段的任务实现。使用GROUP BY子句的聚合可以使用一个独立的MapReduce任务实现。包含大量多表连接的复杂查询需要依靠多个MapReduce任务的顺序执行来实现。

　　 HiveQL编译器的操作分为好几个阶段。

　　在第一个阶段中，查询语句被解析并转化成抽象的语法树。随后语法树将被传给语义分析器，在这一过程中，通过使用元数据存储中的信息来判别列名和数据类型。

语义分析器将它们转化并生成一种内部的表达方式，然后传递给逻辑计划生成器，在这里将生成一颗逻辑操作树。在逻辑计划经过数次的传递和优化之后，它将被送往物理计划生成器。经过物理计划生成器和处理之后，将产生一张DAG（有向无环图）用以生成最终的MapReduce任务。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6105080.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370689

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flume部署安装详细图文步骤(2节点)

　下面我来安装部署 Flume NG，这里我们安装配置两个节点cloud003、cloud004，以Avro Source+Memory Channel+HDFS Sink结合方式示例讲解，大家可以尝试其他实现方式。步骤一：下载flume安装包 apache-flume-1.6.0-bin.tar.gz安装包分别解压到cloud003、cloud004节点上的/usr/java/hadoop/app/目录下。这里我们以cloud003为例，cloud004同样操作。 [hadoop@cloud003 app]$tar -zxvf apache-flume-1.6.0-bin.tar.gz //解压 [hadoop@cloud003 app]$mv apache-flume-1.6.0-bin flume //修改文件名称步骤二：在cloud003节点上，进入flume/conf目录。 [hadoop@cloud003 app]$cd flume/conf [hadoop@cloud003 conf]$ ls flume-conf.properties.template...

2017-11-06

503

为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。　分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。分区是一种根据“分区列”（partition column）的值对表进行粗略划分的机制。Hive中的每个分区对应数据库中相应分区列的一个索引，每个分区对应着表下的一个目录，在HDFS上的表现形式与表在HDFS上的表现形式相同，都是以子目录的形式存在。一个表可以在多个维度上进行分区，并且分区可以嵌套使用。建分区需要在创建表时通过PARTITIONED BY子句指定，例如： CREATE TABLE logs( timestamp BIGINT, line STRING ) PARTITIONED BY (date STRING,country STRING); 在将数据加载到表内之前，需要数据加载人员明确知道所加载的数据属于哪一个分区。使用分区在某些应用场景下能给有效地提高性能，当只需要遍历某一个小范围内的数据或者一定条件下的数据时，它可以有效减少扫描数据的数量，前提是需要将数...

2017-11-06

506

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。