将hdfs 上的文件通过shell脚本导入到hive上面-低调大师

将hdfs 上的文件通过shell脚本导入到hive上面

2017-11-30 488

一个应用的数据来源从PostgreSql导入到hdfs 需要使用API来定义这样做的好处就是一次写入永久执行
而从hdfs导入到hive表中有多种方式
shell 脚本算一种
在整个应用构建中处于一个新的模块中
通过new新的文件因为是类sql（导入到hive上）所以文件格式为xxx.hql
整个项目创建或许会产生很多文件所以对与命名上也需要按照一定的格式xx_yy_zz.hql
xx 表示当前所在文件夹文件名
yy表示所建立的表名与内容性质相关
zz是按照怎样的分区分桶格式如yyyyMMdd 表示按天分区的

drop table if exists ods_company_${yyyymmdd};
create external table ods_company_${yyyymmdd}(
company_id int
,company_address string
,company_attr string
,company_boss string
,company_name string
,company_phone string
)stored as parquet
location '/sqoop/btrip_pg/${yyyymmdd}/tb_company'

${yyyymmdd} 为日期这样保证存储在hdfs上的数据可以与表相对应，

location位置和将PostgreSql上的数据导入到hdfs上的输出文件路径一致

微信关注我们

原文链接：https://yq.aliyun.com/articles/277577

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ElasticSearch数据备份与恢复

ES备份快照的时候可以用NFS或者HDFS。NFS有点麻烦，我们使用HDFS。 1.安装hdfs插件（如果已安装，则忽略这一步）： bin/elasticsearch-plugin install repository-hdfs 注意下载后会提示是否安装，一定要输入 y，否则视为取消安装。安装完之后要重启ES集群. 2.源集群创建仓库： curl -XPUT '192.168.40.11:9200/_snapshot/my_hdfs_repository?pretty' -H 'Content-Type: application/json' -d' { "type": "hdfs", "settings": { "uri": "hdfs://192.168.40.60:8020/", "path": "elasticsearch/repositories/my_hdfs_repository", "conf.dfs.client.read.shortcircuit": "false" } } ' 注意源集群的IP和hdfs的IP不要写错了这里conf.dfs.client.read...

2017-12-01

795

在创建项目的时候需要将数据导入则此时的数据不能通过hql来再shell中展示所以需要记录脚本而这块内容应该写在一个单独的模块下面需要注意的是对文件的明明xx_yy_zz.hqlxx 文件名 yy 表示数据库对应表明 zz分区性质如按照天则为yyyymmdd这样明明的好处就是一目了然让人明白它是哪的文件用于做什么的 drop table if exists ods_company_${yyyymmdd}; create external table ods_company_${yyyymmdd}( company_id int ,company_address string ,company_attr string ,company_boss string ,company_name string ,company_phone string )stored as parquet location '/sqoop/btrip_pg/${yyyymmdd}/tb_company' 运行真个shell脚本过程启动hdfs ，yarn sqoop2-server ：创建job 以...

2017-12-01

741

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。