Hive 统计信息简析-低调大师

Hive 统计信息简析

2017-11-13 663

Hive统计信息是在0.7引入的（https://issues.apache.org/jira/browse/HIVE-33），对于Insert/Load/Merge等DDL操作时在Task后加入一个StatsTask进行统计信息收集，并订阅前置Operator（FileSink/TableScan）的feed.不过现在这个stats并没有使用起来.

线上虽然开启了hive.stats.autogather=true想搜集一些信息，但是ETL Job经常报：[Warning] could notupdate stats，查看日志发现：

ERRORjdbc.JDBCStatsPublisher (JDBCStatsPublisher.java:init(281)) - Error during JDBCinitialization.

java.sql.SQLException:The connection property 'createDatabaseIfNotExist' only accepts values of theform: 'true', 'false', 'yes' or 'no'. The value 'true;user=xxx;password=xxx' isnot in this set.

原来是连接字符串的配置问题，在xml里&需要写成&才可以，修改后生效，可以更新:[num_partitions: xxx, num_files: xxx,num_rows: 0, total_size: xxx, raw_data_size: 0]的XXX的几个变量，但是发现num_rows/raw_data_size这两个值无论如何都无法更新，analyze命令也不管用，看下issue：https://issues.apache.org/jira/browse/HIVE-3324确实有这么个bug，不过并没有很合理的解释，anyway，在hive0.13后使用hadoop counter来做stat publish了，就没这个问题了.

其实如果用来做smallfile分析有这些信息也够了：P

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1334532，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476784

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

在Windows上安装Elasticsearch v5.4.2

最近项目里为了加快后台系统的搜索速度，决定接入开源的搜索引擎，于是大家都在对比较常用的几个开源做技术调研，比如Lucene+盘龙分词，Solr，还有本篇要介绍的Elasticsearch。话不多提，直接进入主题。一、安装JDK 由于Elasticsearch v5.4.2需要Java 8或者更新版本的java，我们可以去Oracle官网下载，也可以选择使用OpenJDK。设置Java环境变量 JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_131 CLASSPATH=.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar PATH= 原PATH+;%JAVA_HOME%\bin; 验证Java环境是否安装成功，以及环境变量是否设置正确。在cmd窗口执行javac命令，若结果如下图，则说明Java环境已经安装正确。二、安装Elasticsearch 下载。从官网下载Elasticsearch zip4.入2.zip。解压文件。将下载的zip文件解压到C:\elasticsearch\elasticsea...

2017-11-14

616

要了解Hadoop Backup Node，要从Namenode的元数据说起。我们都知道Namenode的元数据非常重要，如果元数据损坏，所有存储在datanode中的数据都读不出来了。另外，如果Namenode的元数据比较大，那么集群的启动速度非常慢。为了解决这两个问题，Hadoop弄了一个Secondary Namenode。 Namenode的元数据： Hadoop Namenode元数据主要是两个文件：edits和fsimage。fsimage是HDFS的最新状态（截止到fsimage文件创建时间的最新状态）文件，而edits是自fsimage创建后的namespace操作日志。Namenode每次启动的时候，都要合并两个文件，按照edits的记录，把fsimage文件更新到最新。如果是一个大的、比较繁忙的集群，它的edits文件增长会非常快，这样下次Namenode重启的过程会非常慢，因为它要进行大量的操作。为了加速启动过程，同时为了元数据的安全考虑，Hadoop搞了一个Secondary Namenode，它一般是一台独立的机器，内存大小与Namenode服务器相同。 ...

2017-11-14

464

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。