将Elasticsearch的快照备份到HDFS-低调大师

将Elasticsearch的快照备份到HDFS

2018-03-20 830

1、安装Elasticsearch插件repository-hdfs

下载地址：https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-6.2.3.zip

将zip包放在/usr/local下

注意插件版本需要和Elasticsearch的版本对应。如果版本不匹配，在安装时会有提示

cd /usr/local/software/elasticsearch-6.2.1/bin
./elasticsearch-plugin install file:///usr/local/repository-hdfs-6.2.1.zip

安装成功后需要重启Elasticsearch

2、备份和恢复

构建一个仓库

PUT http://10.10.6.225:9200/_snapshot/backup
{  
  "type": "hdfs",  
    "settings": {  
            "uri": "hdfs://10.10.6.170:9000",  
            "path": "/store",  
            "conf_location": "/usr/local/hadoop/etc/hadoop/hdfs-site.xml"  
    }
}

一些参数的说明：

uri : hdfs的地址和端口

path : 数据存储/加载的路径

load_defaults: 是否加载hadoop默认配置（默认开启）

compress : 是否压缩元数据（默认关闭）

chunk_size : 覆盖块大小（默认关闭）

conf_location：这个参数好像不用加

在创建仓库时会报如下类似的错误

Permission denied: user=elasticsearch, access=WRITE

临时解决办法：

去修改HDFS的hdfs-site.xml文件，取消hadoop hdfs的用户权限检查。需要再找其他办法做到从根本上解决问题

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

增加如下配置

<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

重启HDFS

备份快照

PUT http://10.10.6.225:9200/_snapshot/my_backup/snapshot_100?wait_for_completion=true
{
  "indices": "cars",  //备份cars的index，注意不设置这个属性，默认是备份所有index
  "ignore_unavailable": true,
  "include_global_state": false
}

查看所有快照

GET http://10.10.6.225:9200/_snapshot/backup/_all

查看某个快照

GET http://10.10.6.225:9200/_snapshot/backup/snapshot_100

删除一个快照

DELETE http://10.10.6.225:9200/_snapshot/backup/snapshot_100

恢复快照

POST http://10.10.6.225:9200/_snapshot/backup/snapshot_100/_restore
{
  "indices": "cars",    //指定索引恢复，不指定就是所有
  "ignore_unavailable": true,     //忽略恢复时异常索引
  "include_global_state": false    //是否存储全局转态信息,fasle代表有一个或几个失败，不会导致整个任务失败
}

微信关注我们

原文链接：https://yq.aliyun.com/articles/604127

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop_学习_01_入门准备

一、入门准备 1.零基础学习Hadoop 2.大数据初学者应该知道的知识

2018-03-21

520

针对不同数据库间数据实时同步难的问题，日前，阿里云宣布推出混合云数据同步一站式解决方案，便于广大云产品用户实现实时数据同步的混合云支持，更为方便的是，该功能让本地Oracle也能实现与云上数据库的实时同步。目前，很多用户有云下或其他厂商的Oracle、MySQL到阿里云RDS或ECS自建数据库间的数据实时同步需求。DTS混合云数据同步功能，适用于多种用户应用场景，包括： 1、业务灰度切换业务系统比较复杂时，不能一次性切换到阿里云。此时，业务可以按业务模块、区域或用户等维度逐步切换上云。业务上云过程中，通过DTS进行云上云下或跨云厂商数据同步，当流量切换异常时，可快速回滚业务，有效控制业务迁移风险。 2、数据灾备即使是最可靠的服务提供商，也可能遇到倒霉的一天，为保证业务连续性，业务可以通过DTS混合云同步功能，在阿里云上快速搭建本地业务

2018-03-21

645

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。