首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/277577

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ElasticSearch数据备份与恢复

ES备份快照的时候可以用NFS或者HDFS。NFS有点麻烦,我们使用HDFS。 1.安装hdfs插件(如果已安装,则忽略这一步): bin/elasticsearch-plugin install repository-hdfs 注意下载后会提示是否安装,一定要输入 y,否则视为取消安装。 安装完之后要重启ES集群. 2.源集群创建仓库: curl -XPUT '192.168.40.11:9200/_snapshot/my_hdfs_repository?pretty' -H 'Content-Type: application/json' -d' { "type": "hdfs", "settings": { "uri": "hdfs://192.168.40.60:8020/", "path": "elasticsearch/repositories/my_hdfs_repository", "conf.dfs.client.read.shortcircuit": "false" } } ' 注意源集群的IP和hdfs的IP不要写错了 这里conf.dfs.client.read...

将数据通过shell脚本从hdfs导入到hive中

在创建项目的时候 需要将数据导入 则此时的数据不能通过hql来再shell中展示 所以需要记录脚本 而这块内容应该写在一个单独的模块下面 需要注意的是对文件的明明xx_yy_zz.hqlxx 文件名 yy 表示数据库对应表明 zz分区性质如按照天则为yyyymmdd这样明明的好处就是一目了然 让人明白它是哪的文件用于做什么的 drop table if exists ods_company_${yyyymmdd}; create external table ods_company_${yyyymmdd}( company_id int ,company_address string ,company_attr string ,company_boss string ,company_name string ,company_phone string )stored as parquet location '/sqoop/btrip_pg/${yyyymmdd}/tb_company' 运行真个shell脚本 过程启动hdfs ,yarn sqoop2-server : 创建job 以...

相关文章

发表评论

资源下载

更多资源
Apache Tomcat

Apache Tomcat

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

JDK

JDK

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。