将数据通过shell脚本从hdfs导入到hive中-低调大师

将数据通过shell脚本从hdfs导入到hive中

2017-11-30 722

在创建项目的时候需要将数据导入则此时的数据不能通过hql来再shell中展示所以需要记录脚本

而这块内容应该写在一个单独的模块下面
需要注意的是对文件的明明
xx_yy_zz.hql
xx 文件名 yy 表示数据库对应表明 zz分区性质如按照天则为yyyymmdd
这样明明的好处就是一目了然让人明白它是哪的文件用于做什么的

drop table if exists ods_company_${yyyymmdd};
create external table ods_company_${yyyymmdd}(
company_id int
,company_address string
,company_attr string
,company_boss string
,company_name string
,company_phone string
)stored as parquet
location '/sqoop/btrip_pg/${yyyymmdd}/tb_company'

运行真个shell脚本过程
启动hdfs ，yarn
sqoop2-server ：创建job 以及用于将数据从PostgreSql导入到hdfs
hiveserver2 将数据从hdfs导入到hive中
将脚本传到 linux上
通过指令执行脚本有

hive -f ods_company_yyyymmdd.hql --hivevar yyyymmdd=20171201

yyyymmdd 为日期与脚本中的yyyym
yyyymmdd对应

微信关注我们

原文链接：https://yq.aliyun.com/articles/277578

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

将hdfs 上的文件通过shell脚本导入到hive上面

一个应用的数据来源从PostgreSql导入到hdfs 需要使用API来定义这样做的好处就是一次写入永久执行而从hdfs导入到hive表中有多种方式 shell 脚本算一种在整个应用构建中处于一个新的模块中通过new新的文件因为是类sql（导入到hive上）所以文件格式为xxx.hql整个项目创建或许会产生很多文件所以对与命名上也需要按照一定的格式xx_yy_zz.hql xx 表示当前所在文件夹文件名 yy表示所建立的表名与内容性质相关zz是按照怎样的分区分桶格式如yyyyMMdd 表示按天分区的 drop table if exists ods_company_${yyyymmdd}; create external table ods_company_${yyyymmdd}( company_id int ,company_address string ,company_attr string ,company_boss string ,company_name string ,company_phone string )stored as parquet location ...

2017-12-01

471

转自：http://david.pilato.fr/blog/2016/10/20/creating-elasticsearch-transport-action-updated-for-ga/ 转自：http://david.pilato.fr/blog/2016/07/30/adding-a-new-rest-endpoint-to-elasticsearch/ 转自：http://david.pilato.fr/blog/categories/elasticsearch/

2017-12-03

629

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。