Hive 读取的Column值为NULL？！-低调大师

Hive 读取的Column值为NULL？！

2017-11-13 522

在Hive0.10升级到0.11后我们发现当一个表加字段或者修改字段类型时，新加的分区可以读取到相应字段的值，但是老的分区该字段的值都为NULL（其实数据是在HDFS里的），翻下jira看到Hive在0.11推出一个新feature(HIVE-3833)就是，也就是0.11之前每个分区的schema解析都是按照table来的，而这之后是每个分区的schema都独立的进行解析.

在metastore层面：其实0.10和0.11的schema是一致的：tbls(tbl_id,tbl_name,sd_id),sds(sd_id,cd_id),partitions(tbl_id,sd_id)；这两个版本当table发生schema改变时都会改变其sds对应的cd_id指向新的schema，每次新建partition的cd_id都会继承自table的cd_id，不过2个版本的区别就是0.10在读取partition时仍然是按照table的cd_id对应的columns进行解析，而0.11是按照partition的，因此就导致了我们遇到的问题.

这样解决起来也比较简单：1.在tbls上创建触发器来维护 2.或者后台写一个cron来维护；使得partition的cd_id保持和tbls的一致，定期purge columns表.

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1366071，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476772

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

学习笔记-安装ELK5

ELK日志平台是一个完整的日志分析系统，有三个开源工具构建组成，分别是：Elasticsearch、Logstash和Kibana。Elasticsearch用于数据分析和深度搜索；Logstash作用是从其他服务器上传输和转发日志，对其集中管理，进行分析；Kibana则是提供了强大的UI展示，将数据可视化。安装ELK日志平台 ELK基础环境需要java环境，官网要求5.x版本要大于java8。而且安装方式多样化，支持zip、tar.gz、rpm包、deb包、window环境还有docker环境。根据自己喜好选择吧。我选择的是yum安装，简单方便，系统要求的话没有辣么严格，官网说yum安装方式不再支持centos5.x系列了，非要用centos5.x就去使用tar.gz包吧，官网有具体方法，不再复述。yum安装方式centos6.x和centos7.x都可以，但是我推荐用centos7.x安装，不知道为啥，感觉centos7.x支持更好，centos6.x装完经常会出问题。还有一点需要说下就是，ELK各个组件版本要一致，官网要求的！在一个就是安装顺序，为的是确保每个组件相互调用...

2017-11-14

507

elk5和之前的版本不太一样，他将之前的三方插件集成到了xpack中，想要使用高级功能，必须安装xpack这个插件，但是这个xpack确实让人很头疼，如果配置不正确，es是收不到logstash传来的数据的，更别提Kibana能展示他了，根本就搜不到索引名称。一、elasticsearch5按这X-Pack的步骤： 1、elasticsearch安装X-Pack：在每个集群节点的运行ES_HOME里运行bin/elasticsearch-plugin install x-pack，我这里使用的是yum安装，所以ES_HOME是/usr/share/elasticsearch/。 1 bin /elasticsearch-plugin install x-pack 允许X-Pack创建上面的一系列索引。 2、重启elastcsearch服务 1 systemctlrestartelasticsearch 二、Kibana安装X-Pack 1、安装xpack 进入Kibana的安装目录，这里使用的是yum安装，在/usr/share/kibana下面，运行一下命令，在线安装： 1 2 ...

2017-11-14

586

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。