胖子哥的大数据之路（10）- 基于Hive构建数据仓库实例-低调大师

胖子哥的大数据之路（10）- 基于Hive构建数据仓库实例

2014-04-22 644

一、引言

　　基于Hive+Hadoop模式构建数据仓库，是大数据时代的一个不错的选择，本文以郑商所每日交易行情数据为案例，探讨数据Hive数据导入的操作实例。

二、源数据-每日行情数据

三、建表脚本

CREATE TABLE IF NOT EXISTS t_day_detail(
id STRING,
lastday FLOAT,
today FLOAT,
highest FLOAT,
lowest FLOAT,
today_end FLOAT,
today_jisuan FLOAT,
updown1 FLOAT,
updown2 FLOAT,
sum int,
empity int,
rise int,
turnover FLOAT,
delivery FLOAT
)
PARTITIONED BY (dt STRING,product STRING);

四、数据导入1

1 load data local inpath '/home/hadoop/source/in'
2 overwrite into table t_day_detail
3 partition(dt='2014-04-22',product='1');

五、数据导入2

1 load data local inpath '/home/hadoop/source/in'
2 overwrite into table t_day_detail
3 partition(dt='2014-04-23',product='1');

六、执行结果

hive> select * from t_day_detail
    > ;
OK
CF405,17365.0,17390.0,17390.0,17360.0,17380.0,17380.0,15,15,72.0,1090.0,-36,625.66,0.0  NULL    NULL    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-22      1
CF407,17275.0,17370.0,17415.0,17320.0,17320.0,17365.0,45,90,22.0,52.0,2,191.01,0.0      NULL    NULL    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-22      1
CF409,17450.0,17380.0,17395.0,17310.0,17320.0,17330.0,-130,-120,7860.0,34584.0,-940,68099.08,0.0        NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-22      1
CF411,16370.0,16315.0,16350.0,16220.0,16255.0,16240.0,-115,-130,984.0,17436.0,-380,7990.01,0.0  NULL    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-22      1
CF501,16130.0,16030.0,16085.0,15920.0,15995.0,15970.0,-135,-160,26210.0,115120.0,-1906,209311.56,0.0    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-22      1
CF503,16195.0,16030.0,16065.0,16000.0,16065.0,16045.0,-130,-150,60.0,526.0,12,481.42,0.0        NULL    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-22      1
CF405,17365.0,17390.0,17390.0,17360.0,17380.0,17380.0,15,15,72.0,1090.0,-36,625.66,0.0  NULL    NULL    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-23      1
CF407,17275.0,17370.0,17415.0,17320.0,17320.0,17365.0,45,90,22.0,52.0,2,191.01,0.0      NULL    NULL    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-23      1
CF409,17450.0,17380.0,17395.0,17310.0,17320.0,17330.0,-130,-120,7860.0,34584.0,-940,68099.08,0.0        NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-23      1
CF411,16370.0,16315.0,16350.0,16220.0,16255.0,16240.0,-115,-130,984.0,17436.0,-380,7990.01,0.0  NULL    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-23      1
CF501,16130.0,16030.0,16085.0,15920.0,15995.0,15970.0,-135,-160,26210.0,115120.0,-1906,209311.56,0.0    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-23      1
CF503,16195.0,16030.0,16065.0,16000.0,16065.0,16045.0,-130,-150,60.0,526.0,12,481.42,0.0        NULL    NULL    NULL    NULLNULL     NULL    NULL    NULL    NULL    NULL    NULL    NULL    NULL    2014-04-23      1
Time taken: 0.391 seconds
hive>

七、问题聚焦

（1）Hive分区设置的原则和技巧？

（2）Hive分区内行记录完全一致问题如何解决？

（3）Hive中文乱码问题如何解决？

作者：张子良
出处：http://www.cnblogs.com/hadoopdev
本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

微信关注我们

原文链接：https://yq.aliyun.com/articles/438551

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive 0.12.0安装指南

Hive 0.12.0安装指南.pdf 目录目录 1 1.前言 1 2.约定 1 3.服务端口 2 4.安装MySQL 2 4.1.安装MySQL 2 4.2.创建Hive元数据库 2 5.安装步骤 3 5.1.下载Hive0.12.0二进制安装包 3 5.2.安装Hive 3 5.3.安装MySQL-Connector 3 5.4.修改配置 3 5.4.1.修改/etc/profile或~/.profile 3 5.4.2.修改其它配置文件 4 5.4.2.1.修改hive-env.sh 4 5.4.2.2.修改hive-site.xml 4 5.4.2.3.修改hive-log4j.properties 5 5.4.2.4.修改hive-exec-log4j.properties 5 6.启动运行 5 7.远程执行HSQL 6 8.基本命令 6 9.常见错误 7 1.前言本文的安装参照了官方的文档：GettingStarted，将Hive0.12.0安装在Hadoop2.4.0上。本文将Hive配置成Server模式，并且使用MySQL作为元数据数据库，远程连接MySQL。 ...

2014-04-23

690

目录目录 1 1.前言 1 2.约定 2 3.相关端口 2 4.下载HBase 2 5.安装步骤 2 5.1.修改conf/regionservers 2 5.2.修改conf/hbase-site.xml 3 5.2.1.hbase.master.info.port 4 5.2.2.hbase.master.info.bindAddress 4 5.3.修改conf/hbase-env.sh 4 6.启动运行 5 7.基本的HBase命令 5 8.备HMaster配置 6 9.常见错误 6 10.相关文档 9 附：phoenix的安装 9 1.前言本文将HBase-0.98.0安装在Hadoop-2.4.0上，关于Hadoop-2.4.0的安装，请参见《Hadoop-2.4.0分布式安装手册》一文。安装环境为64位SuSE-Linux10.1版本。本文将在HBase官方提供的quickstart.html文件的指导下进行，在docs/getting_started目录下可找到quickstart.html，或直接浏览在线的：http://hbase.apache.org/bo...

2014-04-24

809

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。