hive shell 导入数据-低调大师

hive shell 导入数据

2016-03-10 564

数据

10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310235139299,20160310,376774,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8
10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310234817965,20160310,175440,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8

show tables;

CREATE TABLE IF NOT EXISTS SESSION_10046(appID STRING, appKey STRING, application_ver STRING, channelID STRING, session_id STRING, local_time_string STRING, local_date_string STRING, duration STRING, terminal_id STRING, device_model STRING, device_manufacture STRING, device_resolution STRING, device_cpu STRING, access STRING, access_type STRING, carrier STRING, country STRING, language STRING, os STRING, os_version STRING, timezone STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS textfile;

desc SESSION_10046;

appid                   string                                      
appkey                  string                                      
application_ver         string                                      
channelid               string                                      
session_id              string                                      
local_time_string       string                                      
local_date_string       string                                      
duration                string                                      
terminal_id             string                                      
device_model            string                                      
device_manufacture      string                                      
device_resolution       string                                      
device_cpu              string                                      
access                  string                                      
access_type             string                                      
carrier                 string                                      
country                 string                                      
language                string                                      
os                      string                                      
os_version              string                                      
timezone                string 



LOAD DATA LOCAL INPATH '/home/cloudera/baoyou/data/log/10046.log' OVERWRITE into table SESSION_10046



 select * from session_10046;

http://quickstart.cloudera:50070/explorer.html#/user/hive/warehouse/session_10046

hdfs dfs -text /user/hive/warehouse/session_10046/10046.log

10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310235139299,20160310,376774,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8
10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310234817965,20160310,175440,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8

捐助开发者

在兴趣的驱动下,写一个免费的东西，有欣喜，也还有汗水，希望你喜欢我的作品，同时也能支持一下。当然，有钱捧个钱场（右上角的爱心标志，支持支付宝和PayPal捐助），没钱捧个人场，谢谢各位。

谢谢您的赞助，我会做的更好！

微信关注我们

原文链接：https://yq.aliyun.com/articles/643176

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

elasticsearch 常见操作

package com.topwalk.analysis.es.operation.impl; import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import java.util.concurrent.ExecutionException; import org.apache.log4j.Logger; import org.elasticsearch.action.admin.indices.create.CreateIndexRequest; import org.elasticsearch.action.admin.indices.exists.indices.IndicesExistsRequest; import org.elasticsearch.action.admin.indices.mapping.put.PutM...

2016-03-11

559

海量数据处理的常用技术可分为: 外排序：因为海量数据无法全部装入内存，所以数据的大部分存入磁盘中，小部分在排序需要时存入内存。 MapReduce：分布式处理技术 hash技术：以Bloom filter技术为代表外排序：主要适用于大数据的排序、去重。分布式处理技术：MapReduce 技术思想是将数据交给不同的机器去处理，将数据切分，之后结果归约。举例，统计出一批数据的TOP N 首先可以根据数据值或者数据HASH(MD5)后的值将数据按照范围划分，不同的服务器负责处理各种的数值范围，实际上就是map,得到结果后，各个服务器拿出各自的出现次数最多的前N个数据，然后汇总，选出所有的数据中出现次数最多的前N个数据，这实际上就是reduce的过程。 1、处理海量数据的常用技巧，比如分区操作。比如针对按年份或按月份存取的数据，将数据分散开，减少磁盘I/0，减少系统负荷，也可将日志、索引存放于不同的分区下。 2、提高硬件条件、增加CPU，加大磁盘空间等。 3、加大虚拟内存。 4、分批处理。可以对海量数据分批处理，处理后的数据再进行合并操作，这样逐个击破，有利于下哦数据量的处理。 ...

2016-03-11

608

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。