Hive 统计信息简析-低调大师

Hive 统计信息简析

2017-11-13 734

Hive统计信息是在0.7引入的（https://issues.apache.org/jira/browse/HIVE-33），对于Insert/Load/Merge等DDL操作时在Task后加入一个StatsTask进行统计信息收集，并订阅前置Operator（FileSink/TableScan）的feed.不过现在这个stats并没有使用起来.

线上虽然开启了hive.stats.autogather=true想搜集一些信息，但是ETL Job经常报：[Warning] could notupdate stats，查看日志发现：

ERRORjdbc.JDBCStatsPublisher (JDBCStatsPublisher.java:init(281)) - Error during JDBCinitialization.

java.sql.SQLException:The connection property 'createDatabaseIfNotExist' only accepts values of theform: 'true', 'false', 'yes' or 'no'. The value 'true;user=xxx;password=xxx' isnot in this set.

原来是连接字符串的配置问题，在xml里&需要写成&才可以，修改后生效，可以更新:[num_partitions: xxx, num_files: xxx,num_rows: 0, total_size: xxx, raw_data_size: 0]的XXX的几个变量，但是发现num_rows/raw_data_size这两个值无论如何都无法更新，analyze命令也不管用，看下issue：https://issues.apache.org/jira/browse/HIVE-3324确实有这么个bug，不过并没有很合理的解释，anyway，在hive0.13后使用hadoop counter来做stat publish了，就没这个问题了.

其实如果用来做smallfile分析有这些信息也够了：P

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1334532，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476784

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

在Windows上安装Elasticsearch v5.4.2

最近项目里为了加快后台系统的搜索速度，决定接入开源的搜索引擎，于是大家都在对比较常用的几个开源做技术调研，比如Lucene+盘龙分词，Solr，还有本篇要介绍的Elasticsearch。话不多提，直接进入主题。一、安装JDK 由于Elasticsearch v5.4.2需要Java 8或者更新版本的java，我们可以去Oracle官网下载，也可以选择使用OpenJDK。设置Java环境变量 JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_131 CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar PATH= 原PATH+;%JAVA_HOME%\bin; 验证Java环境是否安装成功，以及环境变量是否设置正确。在cmd窗口执行javac命令，若结果如下图，则说明Java环境已经安装正确。二、安装Elasticsearch 下载。从官网下载Elasticsearch zip4.入2.zip。解压文件。将下载的zip文件解压到C:\elasticsearch\elasticsea...

2017-11-13

718

要了解Hadoop Backup Node，要从Namenode的元数据说起。我们都知道Namenode的元数据非常重要，如果元数据损坏，所有存储在datanode中的数据都读不出来了。另外，如果Namenode的元数据比较大，那么集群的启动速度非常慢。为了解决这两个问题，Hadoop弄了一个Secondary Namenode。 Namenode的元数据： Hadoop Namenode元数据主要是两个文件：edits和fsimage。fsimage是HDFS的最新状态（截止到fsimage文件创建时间的最新状态）文件，而edits是自fsimage创建后的namespace操作日志。Namenode每次启动的时候，都要合并两个文件，按照edits的记录，把fsimage文件更新到最新。如果是一个大的、比较繁忙的集群，它的edits文件增长会非常快，这样下次Namenode重启的过程会非常慢，因为它要进行大量的操作。为了加速启动过程，同时为了元数据的安全考虑，Hadoop搞了一个Secondary Namenode，它一般是一台独立的机器，内存大小与Namenode服务器相同。 ...

2017-11-13

547

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。