将Elasticsearch的快照备份到HDFS-低调大师

将Elasticsearch的快照备份到HDFS

2018-03-20 808

1、安装Elasticsearch插件repository-hdfs

下载地址：https://artifacts.elastic.co/downloads/elasticsearch-plugins/repository-hdfs/repository-hdfs-6.2.3.zip

将zip包放在/usr/local下

注意插件版本需要和Elasticsearch的版本对应。如果版本不匹配，在安装时会有提示

cd /usr/local/software/elasticsearch-6.2.1/bin
./elasticsearch-plugin install file:///usr/local/repository-hdfs-6.2.1.zip

安装成功后需要重启Elasticsearch

2、备份和恢复

构建一个仓库

PUT http://10.10.6.225:9200/_snapshot/backup
{  
  "type": "hdfs",  
    "settings": {  
            "uri": "hdfs://10.10.6.170:9000",  
            "path": "/store",  
            "conf_location": "/usr/local/hadoop/etc/hadoop/hdfs-site.xml"  
    }
}

一些参数的说明：

uri : hdfs的地址和端口

path : 数据存储/加载的路径

load_defaults: 是否加载hadoop默认配置（默认开启）

compress : 是否压缩元数据（默认关闭）

chunk_size : 覆盖块大小（默认关闭）

conf_location：这个参数好像不用加

在创建仓库时会报如下类似的错误

Permission denied: user=elasticsearch, access=WRITE

临时解决办法：

去修改HDFS的hdfs-site.xml文件，取消hadoop hdfs的用户权限检查。需要再找其他办法做到从根本上解决问题

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

增加如下配置

<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

重启HDFS

备份快照

PUT http://10.10.6.225:9200/_snapshot/my_backup/snapshot_100?wait_for_completion=true
{
  "indices": "cars",  //备份cars的index，注意不设置这个属性，默认是备份所有index
  "ignore_unavailable": true,
  "include_global_state": false
}

查看所有快照

GET http://10.10.6.225:9200/_snapshot/backup/_all

查看某个快照

GET http://10.10.6.225:9200/_snapshot/backup/snapshot_100

删除一个快照

DELETE http://10.10.6.225:9200/_snapshot/backup/snapshot_100

恢复快照

POST http://10.10.6.225:9200/_snapshot/backup/snapshot_100/_restore
{
  "indices": "cars",    //指定索引恢复，不指定就是所有
  "ignore_unavailable": true,     //忽略恢复时异常索引
  "include_global_state": false    //是否存储全局转态信息,fasle代表有一个或几个失败，不会导致整个任务失败
}

微信关注我们

原文链接：https://yq.aliyun.com/articles/604127

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop_学习_01_入门准备

一、入门准备 1.零基础学习Hadoop 2.大数据初学者应该知道的知识

2018-03-21

502

针对不同数据库间数据实时同步难的问题，日前，阿里云宣布推出混合云数据同步一站式解决方案，便于广大云产品用户实现实时数据同步的混合云支持，更为方便的是，该功能让本地Oracle也能实现与云上数据库的实时同步。目前，很多用户有云下或其他厂商的Oracle、MySQL到阿里云RDS或ECS自建数据库间的数据实时同步需求。DTS混合云数据同步功能，适用于多种用户应用场景，包括： 1、业务灰度切换业务系统比较复杂时，不能一次性切换到阿里云。此时，业务可以按业务模块、区域或用户等维度逐步切换上云。业务上云过程中，通过DTS进行云上云下或跨云厂商数据同步，当流量切换异常时，可快速回滚业务，有效控制业务迁移风险。 2、数据灾备即使是最可靠的服务提供商，也可能遇到倒霉的一天，为保证业务连续性，业务可以通过DTS混合云同步功能，在阿里云上快速搭建本地业务

2018-03-21

627

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。