Elasticsearch 跨集群同步-低调大师

Elasticsearch 跨集群同步

2018-06-03 1357

高可用架构

ZSearch是目前公司内最大的Elasticsearch服务平台，随着业务的深入，越来越多的关键链路用户对数据的可用性和容灾能力提出更高的需求，而在这块领域社区一直没有完整的解决策略，原生的 Snapshot And Restore 只能做快照的恢复，不能做到实时同步；业内主流的队列分发模式（通过消息队列缓存请求数据，多个集群消费数据实现请求复制）也只能做到请求的同步，一个不可预期的操作如delete_by_query 集群间便会产生数据差异。归根到底我们需要一个类似Mysql的binlog同步方案，从底层机制上保证数据的最终一致性，为此 ZSearch核心团队经过数月源码研究精心打造了Elasticsearch-XDCR，一款基于translog原生复制协议的跨集群同步产品。

Elasticsearch-XDCR

微信关注我们

原文链接：https://yq.aliyun.com/articles/599185

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于分布式计算的一些概念

整理自《架构解密从分布式到微服务》第七章——聊聊分布式计算.做了相应补充和修改。 [TOC] 前言不管是网络、内存、还是存储的分布式，它们最终目的都是为了实现计算的分布式：数据在各个计算机节点上流动，同时各个计算机节点都能以某种方式访问共享数据，最终分布式计算后的输出结果被持久化存储和输出。分布式作为分布式系统里最重要的一个能力和目标，也是大数据系统的关技术之一。经过多年的发展与演进，目前业界已经存在很多成熟的分布式计算相关的开源编程框架和平台供我们选择。一不得不说的Actor模型 1.1 Actor模型的诞生与发展 Carl Hewitt于1970年发明Actor模型，当时Actor模型的概念远远领先于那个时代，知道Erlang这样基于Actor模型设计的面向并发编程的新语言横空出世之后，Actor模型才真真火了起来。 1.2 Actor模型是什么？ Actor是计算机科学领域中的一个并行计算模型，它把Actor当做通用的并行计算原语：一个Actor对接收到的消息做出响应，进行本地决策，可以创建更多的Actor（子Actor），或者发送更多的消息；同时准备接收下一条消息。在...

2018-06-03

569

概述空间查询是是利用点，线和多边形等地理信息获得满足特定空间关系的数据，广泛应用于新型农业、零售、服务和安全等领域。本文的业务背景也是基于活动轨迹的多边形查询。一、空间搜索类型 Solr目前主要支持以下空间搜索类型：索引点或其他形状用边界框或圆形或其他形状过滤搜索结果通过点之间的距离或矩形之间的相对面积来排序或提升得分二维网格上生成热图或者点绘。本次测试主要是针对多变形的intersect和within查询。二、配置SOLR并导入测试数据创建测试collection：geo_test, 步骤如下： 1. 配置schema 拷贝一份默认的schma配置SOLR_INSTALL/server/solr/configsets/_default到新目录geo_configs 在geo_configs目录下的managed-schema文件中增加新

2018-06-04

591

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。