Hive 统计信息简析-低调大师

Hive 统计信息简析

2017-11-13 767

Hive统计信息是在0.7引入的（https://issues.apache.org/jira/browse/HIVE-33），对于Insert/Load/Merge等DDL操作时在Task后加入一个StatsTask进行统计信息收集，并订阅前置Operator（FileSink/TableScan）的feed.不过现在这个stats并没有使用起来.

线上虽然开启了hive.stats.autogather=true想搜集一些信息，但是ETL Job经常报：[Warning] could notupdate stats，查看日志发现：

ERRORjdbc.JDBCStatsPublisher (JDBCStatsPublisher.java:init(281)) - Error during JDBCinitialization.

java.sql.SQLException:The connection property 'createDatabaseIfNotExist' only accepts values of theform: 'true', 'false', 'yes' or 'no'. The value 'true;user=xxx;password=xxx' isnot in this set.

原来是连接字符串的配置问题，在xml里&需要写成&才可以，修改后生效，可以更新:[num_partitions: xxx, num_files: xxx,num_rows: 0, total_size: xxx, raw_data_size: 0]的XXX的几个变量，但是发现num_rows/raw_data_size这两个值无论如何都无法更新，analyze命令也不管用，看下issue：https://issues.apache.org/jira/browse/HIVE-3324确实有这么个bug，不过并没有很合理的解释，anyway，在hive0.13后使用hadoop counter来做stat publish了，就没这个问题了.

其实如果用来做smallfile分析有这些信息也够了：P

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1334532，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476784

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

在Windows上安装Elasticsearch v5.4.2

最近项目里为了加快后台系统的搜索速度，决定接入开源的搜索引擎，于是大家都在对比较常用的几个开源做技术调研，比如Lucene+盘龙分词，Solr，还有本篇要介绍的Elasticsearch。话不多提，直接进入主题。一、安装JDK 由于Elasticsearch v5.4.2需要Java 8或者更新版本的java，我们可以去Oracle官网下载，也可以选择使用OpenJDK。设置Java环境变量 JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_131 CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar PATH= 原PATH+;%JAVA_HOME%\bin; 验证Java环境是否安装成功，以及环境变量是否设置正确。在cmd窗口执行javac命令，若结果如下图，则说明Java环境已经安装正确。二、安装Elasticsearch 下载。从官网下载Elasticsearch zip4.入2.zip。解压文件。将下载的zip文件解压到C:\elasticsearch\elasticsea...

2017-11-13

750

要了解Hadoop Backup Node，要从Namenode的元数据说起。我们都知道Namenode的元数据非常重要，如果元数据损坏，所有存储在datanode中的数据都读不出来了。另外，如果Namenode的元数据比较大，那么集群的启动速度非常慢。为了解决这两个问题，Hadoop弄了一个Secondary Namenode。 Namenode的元数据： Hadoop Namenode元数据主要是两个文件：edits和fsimage。fsimage是HDFS的最新状态（截止到fsimage文件创建时间的最新状态）文件，而edits是自fsimage创建后的namespace操作日志。Namenode每次启动的时候，都要合并两个文件，按照edits的记录，把fsimage文件更新到最新。如果是一个大的、比较繁忙的集群，它的edits文件增长会非常快，这样下次Namenode重启的过程会非常慢，因为它要进行大量的操作。为了加速启动过程，同时为了元数据的安全考虑，Hadoop搞了一个Secondary Namenode，它一般是一台独立的机器，内存大小与Namenode服务器相同。 ...

2017-11-13

569

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。