Elasticsearch 跨集群同步-低调大师

Elasticsearch 跨集群同步

2018-06-03 1391

高可用架构

ZSearch是目前公司内最大的Elasticsearch服务平台，随着业务的深入，越来越多的关键链路用户对数据的可用性和容灾能力提出更高的需求，而在这块领域社区一直没有完整的解决策略，原生的 Snapshot And Restore 只能做快照的恢复，不能做到实时同步；业内主流的队列分发模式（通过消息队列缓存请求数据，多个集群消费数据实现请求复制）也只能做到请求的同步，一个不可预期的操作如delete_by_query 集群间便会产生数据差异。归根到底我们需要一个类似Mysql的binlog同步方案，从底层机制上保证数据的最终一致性，为此 ZSearch核心团队经过数月源码研究精心打造了Elasticsearch-XDCR，一款基于translog原生复制协议的跨集群同步产品。

Elasticsearch-XDCR

微信关注我们

原文链接：https://yq.aliyun.com/articles/599185

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于分布式计算的一些概念

整理自《架构解密从分布式到微服务》第七章——聊聊分布式计算.做了相应补充和修改。 [TOC] 前言不管是网络、内存、还是存储的分布式，它们最终目的都是为了实现计算的分布式：数据在各个计算机节点上流动，同时各个计算机节点都能以某种方式访问共享数据，最终分布式计算后的输出结果被持久化存储和输出。分布式作为分布式系统里最重要的一个能力和目标，也是大数据系统的关技术之一。经过多年的发展与演进，目前业界已经存在很多成熟的分布式计算相关的开源编程框架和平台供我们选择。一不得不说的Actor模型 1.1 Actor模型的诞生与发展 Carl Hewitt于1970年发明Actor模型，当时Actor模型的概念远远领先于那个时代，知道Erlang这样基于Actor模型设计的面向并发编程的新语言横空出世之后，Actor模型才真真火了起来。 1.2 Actor模型是什么？ Actor是计算机科学领域中的一个并行计算模型，它把Actor当做通用的并行计算原语：一个Actor对接收到的消息做出响应，进行本地决策，可以创建更多的Actor（子Actor），或者发送更多的消息；同时准备接收下一条消息。在...

2018-06-03

609

概述空间查询是是利用点，线和多边形等地理信息获得满足特定空间关系的数据，广泛应用于新型农业、零售、服务和安全等领域。本文的业务背景也是基于活动轨迹的多边形查询。一、空间搜索类型 Solr目前主要支持以下空间搜索类型：索引点或其他形状用边界框或圆形或其他形状过滤搜索结果通过点之间的距离或矩形之间的相对面积来排序或提升得分二维网格上生成热图或者点绘。本次测试主要是针对多变形的intersect和within查询。二、配置SOLR并导入测试数据创建测试collection：geo_test, 步骤如下： 1. 配置schema 拷贝一份默认的schma配置SOLR_INSTALL/server/solr/configsets/_default到新目录geo_configs 在geo_configs目录下的managed-schema文件中增加新

2018-06-04

644

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。