hive shell 导入数据
数据
10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310235139299,20160310,376774,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8 10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310234817965,20160310,175440,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8
show tables; CREATE TABLE IF NOT EXISTS SESSION_10046(appID STRING, appKey STRING, application_ver STRING, channelID STRING, session_id STRING, local_time_string STRING, local_date_string STRING, duration STRING, terminal_id STRING, device_model STRING, device_manufacture STRING, device_resolution STRING, device_cpu STRING, access STRING, access_type STRING, carrier STRING, country STRING, language STRING, os STRING, os_version STRING, timezone STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS textfile; desc SESSION_10046; appid string appkey string application_ver string channelid string session_id string local_time_string string local_date_string string duration string terminal_id string device_model string device_manufacture string device_resolution string device_cpu string access string access_type string carrier string country string language string os string os_version string timezone string LOAD DATA LOCAL INPATH '/home/cloudera/baoyou/data/log/10046.log' OVERWRITE into table SESSION_10046 select * from session_10046;
http://quickstart.cloudera:50070/explorer.html#/user/hive/warehouse/session_10046
hdfs dfs -text /user/hive/warehouse/session_10046/10046.log
10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310235139299,20160310,376774,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8 10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310234817965,20160310,175440,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8
捐助开发者
在兴趣的驱动下,写一个免费
的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(右上角的爱心标志,支持支付宝和PayPal捐助),没钱捧个人场,谢谢各位。
谢谢您的赞助,我会做的更好!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
elasticsearch 常见操作
package com.topwalk.analysis.es.operation.impl; import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import java.util.concurrent.ExecutionException; import org.apache.log4j.Logger; import org.elasticsearch.action.admin.indices.create.CreateIndexRequest; import org.elasticsearch.action.admin.indices.exists.indices.IndicesExistsRequest; import org.elasticsearch.action.admin.indices.mapping.put.PutM...
- 下一篇
海量数据处理技术学习
海量数据处理的常用技术可分为: 外排序:因为海量数据无法全部装入内存,所以数据的大部分存入磁盘中,小部分在排序需要时存入内存。 MapReduce:分布式处理技术 hash技术:以Bloom filter技术为代表 外排序:主要适用于大数据的排序、去重。 分布式处理技术:MapReduce 技术思想是将数据交给不同的机器去处理,将数据切分,之后结果归约。 举例,统计出一批数据的TOP N 首先可以根据数据值或者数据HASH(MD5)后的值将数据按照范围划分,不同的服务器负责处理各种的数值范围,实际上就是map,得到结果后,各个服务器拿出各自的出现次数最多的前N个数据,然后汇总,选出所有的数据中出现次数最多的前N个数据,这实际上就是reduce的过程。 1、处理海量数据的常用技巧,比如分区操作。比如针对按年份或按月份存取的数据,将数据分散开,减少磁盘I/0,减少系统负荷,也可将日志、索引存放于不同的分区下。 2、提高硬件条件、增加CPU,加大磁盘空间等。 3、加大虚拟内存。 4、分批处理。 可以对海量数据分批处理,处理后的数据再进行合并操作,这样逐个击破,有利于下哦数据量的处理。 ...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS关闭SELinux安全模块
- Hadoop3单机部署,实现最简伪集群
- CentOS8编译安装MySQL8.0.19
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS6,7,8上安装Nginx,支持https2.0的开启