首页 文章 精选 留言 我的

精选列表

搜索[Elasticsearch],共4622篇文章
优秀的个人博客,低调大师

ElasticSearch Tune for indexing speed Translation

1.使用块查询 块查询一般来说比单文档查询表现出更好的性能。为了获取快查询最佳新能,你可以在单节点地单分片上运行一个基准,第一次100个文档,第二次200个文档,然后400个,以此类推。每次基准运行的数量都是两倍于前一次的数量。当索引速度达到峰值的时候你就知道你的数据索引最佳的块文档数量。如果峰值存在于两个数量上,最好还是以最少的数量去索引。块查询数量越大也就意味着在进行同步查询的时候对内存压力也就越大。建议大家每次发送请求时不要超过几十兆尽管有时更大的请求表现地更好。 2.使用多线程发送数据到es中 使用单个线程不可能将es集群的索引性能最大化。为了充分利用es集群的资源,你应该使用多线程或进程发送数据。除了最大化集群的资源使用,这也会帮助减少非同步的成本。 注意TOO_MANY_REQUESTS(429)返回码(在java客户端中报EsRejectedExecutionException错误),这是告诉你es目前无法跟上你的索引速率。当这种情况发生时,你应该在下次发送请求之前先暂停下。理想情况下,它会自动恢复。 跟确定最佳bulk请求数量类似,只有通过测试才能知道最佳的调用者数量是多少。这可以通过增加调用者数量来测试并在I/O或CPU饱和的情况下得到结果 3.提高刷新间隔 默认情况下,index.refresh_interval是1s,意味着es会每秒创建一个新的分片,但是你可以通过增加这个值(例如30s)来增大在每个刷新间隔中创建更多的分片并能够减少未来合并的压力 4.在进行初始加载的时候禁用索引刷新和索引复制 如果你要一次性进行大量的数据加载操作,你应该通过设置index.refresh_interval为-1并设置index.number_of_replicas为0.这会让你的索引暂时处于危险之中,因为丢失任何分片都会使数据丢失,但是同时也会导致索引更快因为文档只会被索引一次。一旦初始化加载结束,应该把上面两个参数设置为原来的值 5.禁用交换机制 确保操作系统不会因为禁用交换机制来交换java进程 6.给文件系统缓存留有足够的内存空间 文件系统的缓存会被使用到因为需要缓冲I/O操作。你应当确保运行es的机器还有一般的内存留给文件系统用作缓存 7.使用自动生成的ids 当索引一个有具体id的文档时,es需要检查同一分片中是否存在匹配到该id的文档,这会花费很多时间并且在id越大的时候成本越高。通过使用自动生成的id,es会调过这些检查,这将会使得索引变得更加快速 8.使用更快的硬件 如果索引速度被I/O制约,你需要提供为文件系统缓存提供更多的内存或者升级更快的硬件设备了。一般固态比机械硬盘性能更好。始终使用本地文件系统,远程文件系统像NFS以及SMB都应该避免。对例如亚马逊的EBS(elastic block storage)也要留意,es在虚拟存储上表现更好,由于更快以及易于安装使得它变得越来越受欢迎。但是不幸的是相比于本地存储虚拟存储还是有一些差距。如果你要使用EBS请注意要使用提供的IOPS否则会被限流 通过配置RAID为一个空数组,可以让索引分配在多个SSD上,但是要注意它会增加故障风向因为任意一个SSD故障都会导致索引损坏。然而这通常是一个正确的做法:优化单个分片以获得最大性能,并且在不同的节点上添加副本分片以提高可用性。你也可以使用snapshot和restore备份索引来获得进一步的保险 9.索引缓冲区大小 如果你的节点只做高负荷的索引,确保indices.memory.index_buffer_size大到足以为每个分片提供最多512MB的索引缓冲区进行大量索引(超过512MB索引性能也不会得到显著的提升)。es会采用这个配置(java堆的百分比或者绝对值),然后使用它在所有活跃的分片中作为公用缓冲区。非常活跃的分片自然会使用更多的缓冲区空间而那些轻量级查询的分片用得更少。 默认10%足够了,例如:如果你给JVM10G的内存,它会给索引缓存区1G,这将对于两个高负荷分片提供足够的内存空间。 10.禁用_field_names _field_names字段会带来额外的索引开销,所以如果你不用运行esists查询就可以禁用它

优秀的个人博客,低调大师

ElasticSearch Tune for disk usage Translation

1.禁用不需要的属性 index:默认情况下,es会对大多数字段进行索引并添加doc值,以便可以直接索引和聚合它们,但是对于一个必须要使用的字段eg:你需要使用foo这个数值型字段展示直方图,那么这个字段永远不会被过滤掉,那么你可以安全地禁用映射中此字段的索引。 PUT index { "mappings": { "_doc": { "properties": { "foo": { "type": "integer", "index": false } } } } }text:该属性在索引中存储了作为文档计分所需要的基本的因素,如果你索引的只是文本而不关注文本分数,那么你可以配置该索引不使用norms参数 PUT index { "mappings": { "_doc": { "properties": { "foo": { "type": "text", "norms": false } } } } }text:默认情况下该属性还存储了frequencies和positions两个属性,第一个属性在积分系统中被使用到,第二个在短语查询中使用到。如果你不需要执行短语查询,那么你可以禁用positions属性 PUT index { "mappings": { "_doc": { "properties": { "foo": { "type": "text", "index_options": "freqs" } } } } } 另外,如果你不关心计分系统,你可以配置es在每个查询中仅仅索引文档。当然你也可以索引这个字段,但是短语查询将会报错并且计分系统会假定每次查询在每个文档中只会出现一次 PUT index { "mappings": { "_doc": { "properties": { "foo": { "type": "text", "norms": false, "index_options": "freqs" } } } } } 2.不要使用默认动态字符串映射 默认的动态字符串索引将字符串属性索引为文本和关键词,如果你只需要使用其中的一种这将会是很大的浪费,典型的id只需要被索引为关键字而body字段只需要被索引为文本属性。 可以通过在字符串上显式映射类型或者配置动态模板为文本或关键词来禁用上面的特性 PUT index { "mappings": { "_doc": { "dynamic_templates": [ { "strings": { "match_mapping_type": "string", "mapping": { "type": "keyword" } } } ] } } } 3.关注你的分片大小 分片越大在存储数据的时候越高效,通过使用更少的分片数量来创建索引从而减少一个索引中的主分片数量来增大分片大小或者通过使用Sharking API来修改目前已经存在的索引 注意:巨大的分片大小会带来一定的缺点,例如需要很久的恢复时间 4.禁用_all _all属性会索引一个文档中的所有字段值并且会使用巨大的空间。如果你不需要在同个时间索引所有字段,可以将_all属性禁用 5.禁用_source _source存储文档的原始json数据,如果你不需要这些可以直接禁用了。然而,像update和reindex这种需要访问_source的APIs将不起作用 6.使用best_compression _source和存储属性会很容易消耗掉不可忽视的磁盘空间。它们可以使用best_compression:codec 来进一步压缩空间 7.聚焦整合 es中的索引会被存储在一个或多个分片上。每一个分片就是一个Lucene索引并且有一个或多个片段组成,这些片段才是真正磁盘文件。越大的片段意味着越高效以及越能存储数据 _forcemerge API可以减少每个分片上的片段数量来增大每个片段的大小。在大多数情况下,每个分片的片段数量可以通过max_num_segments=1被设置为1 8.收缩索引 Shrink API帮助减少一个索引的分片数量。和上面的force_merge API一起使用可以显著地减少分片和片段的数量 9.在合适的情况下使用最小的数字类型 数值类型的类型选择将会在很大程度上影响磁盘使用率。具体地说,使用整值类型存储整数,在合适的情况下浮点数应该被存储在scaled_float中或更小的类型中。使用float而不是double,使用half_float而不是float将会帮助减少存储空间 10.使用索引排序来共置相同的文档 当es存储_source时,它会一次性压缩多个文档以提高整体压缩率。例如文档之间具有相同字段名称甚至字段值是很普遍的,特别是在基数较低或者遵循zipfian分布的情况下。 默认情况下,文档会被压缩在一起以便能够被添加到索引中,如果你提供索引排序那么它们会被有序压缩。有序并且结构,字段以及值都一样的文档会被压缩在一起以提高压缩率 11.文档字段保持相同的顺序 因为多个文档会被压缩到块中存储,如果字段遵循相同的顺序就更有可能在_source找到相同的长串。

优秀的个人博客,低调大师

ElasticSearch Reading and Writing documents Translation

开门见山,根据es官网的doc根据我自己的理解(先从网上学习了基本的es教程并在虚机上搭了一套es跑起来之后然后研究了es包中特别是conf文件夹中所有conf文件之后发现对于master节点和primaryreplication shard 还是有点confused,所以直接到官网学习这部分的doc),贴上该doc的翻译Translation: 1.介绍:es的每个索引都是被分配到分片上,每个分片都会有多个副本,这些副本组成了一个replication group,它们在文档被添加或移除时会强制保持同步。如果没有保持同步,从两个不同的副本上读取的数据可能不一样。保持分片副本同步并从中提取读取的过程就是我们所说的数据复制模型。es数据同步模型基于主备份模式并在微软研究院的PacificA这篇论文中有一个很好的描述。这个模型基于来自于replication group的单个副本,这个副本充当了主分片角色,而其他的副本就被成为副本分片。主分片作为所有索引操作的主要实体,它负责验证并确定这些索引操作是正确的。一旦某个索引操作被主分片接收,那么主分片也会负责复制这个操作到所有的副本分片。本节的目的是对es复制模型进行高级的概述,并讨论它对写入和读取操作各种交互的影响 基本的写入模型es中的所有索引操作首先都会通过路由被解析到replication group.这个机制一般是通过文档ID完成的。一旦replication group被确定了,操作将在内部转发到repicaltion group的主分片。主分片首先负责检查这个操作确定没有问题之后就会分发该操作到副本分片,由于副本分片可以拖机,所以主分片不需要分发到所有的副本分片。相反,es会保存一张含有那些应该接收到该操作的分片的列表。这个列表被称为in-sync列表,它由master节点保存。顾名思义,这个"好的"分片副本集合会保证处理那些需要向客户保证的索引和删除操作。主分片负责维持集群的不变性也因此不得不将所有的操作复制给到这个集合中的其他分片。主分片主要处理以下基本事项:1.检查进来的操作并在结构不符合预期的情况下拒绝2.本地执行操作,eg:创建或删除指定的文档,它会检查这个文本并在不符合规则的情况下拒绝该操作(索引中的关键字太长无法放入Lucene中)3.分发操作到其他处在in-sync集合中的其他副本分片,如何这个集合中的副本分片含有多个,就会异步执行4.一旦所有的in-sync集合中的副本分片执行完毕并且成功返回给了主分片,主分片就会将成功的结果反馈给客户端 故障处理在特殊情况下会导致错误发生,例如磁盘可能会损坏,节点可能会和其他节点失去练剑,或者有些错误配置导致副本分片上的操作失败尽管这些操作在主分片上是成功的。这些情况虽然是常见的,但是主分片不得不汇报这些情况。一旦主分片自己坏掉了,该分片所在的节点会向master节点汇报这件事,此时索引操作将会等待master从副本分片中选择一个分片作为新的主分片(默认等待1分钟),然后这个索引操作会被路由到这个新的主分片中。注意:master也会不断地监控节点的状态并可能决定主动降级主分片,这种情况一般发生在主分片所在的节点因为网络原因从集群中断开了。一旦主分片在本地成功执行了该索引操作,接下来主分片在副本分片上执行操作的时候可能会处理潜在的故障。这可能会因为在副本分片上发生了真实的故障或者由于网络问题阻止了请求从主分片到达副本分片(或者阻止了从副本分片到主分片的响应)。所有以上几种情况都会导致一个相同的结果:in-sync中的某个副本分片没有执行应该需要被执行的操作。为了保证稳定性,主分片会发送一个消息到master节点要求将有问题的分片及时从in-sync集合中移除。只有这个有问题的副本分片被master节点从in-sync中移除,主分片才会确认执行成功并返回到客户端。注意:master节点同时也会让另外一个节点生成一个新的副本分片从而保证存储系统处于一个健康的状态。主分片在分发操作给副本分片的时候也会通过副本分片来检测自己是否还是主分片,因为如果主分片由于网络原因失去了连接,在意识到它已经失去连接之前它还会继续向副本分片分发执行操作,但是副本分片会拒绝这些操作。当主分片接收到来自副本分片的拒绝反馈,它将会联系master节点并将接收到通知自己不再时主分片,然后它再将操作路由到新的主分片。 注意:如果没有副本分片怎么办? 这种情况在索引配置错误或者所有的副本分片都出现故障的时候是可能发生的,此时主分片在处理操作的时候没有任何其他分片的保证,这种情况看起来很糟糕。另一方面,主分片也不会让其他分片(没有)出现故障(也就是不能让自己出现故障,因为自己故障了整个单点集群就算挂了),但是会请求master节点检查自己,这样master节点就会知道只有一个好的主分片,从这个意义上我们可以说master不会让另外的节点成为新的主节点也因此所有的数据在主节点上都不会被丢失,当然因为只有一个主节点,物理机上存在的数据可能会丢失。 基础的读模式:es读取有两个方面,一个方面是通过ID进行轻量级的读取,另一方面可以在消费大量的CPU性能的情况下通过非常复杂的繁重的聚合查询。然而主备模式的美妙之处之一就是他会保持所有的副本分片都是平等的(除了飞行模式:目前不知道什么是飞行模式)。因此,in-sync中的一个节点就可以满足读操作当一个节点接收到读请求时,这个节点负责将该请求分发到与这个读请求相关的分片上去,收集rep并将结果反馈给客户端。我们称这个节点为这个请求的协同节点。基础的流程如下:1.将读请求分发给相关的分片。注意:由于大多数查找会发送一个或多个索引,它们一般需要从多个分片中读取,每一个代表整个数据的子集。2.从这个相关分片的replication group中选一个活跃分片,这个活跃分片有可能是主分片也有可能是副本分片,默认情况下,es会简单地在分片中进行循环。3.发送分片级别的读请求到被选中的分片中4.整合结果并返回,注意如果是通过ID查找,只有一个分片会是相关分片也就可以略过这步了故障处理:当一个分片因为故障不能返回结果,协同节点会从相同的replicaiton group中选取一个分片然后发送分片级别的请求给到这个分片。同样的错误也会发生在没有分片副本的情况下。在有些情况下,eg:"_search",es需要更快地返回结果时,它不会等待上面结果得到处理而是会直接返回部分结果(部分结果会被显示在返回体头部的_shards中)。 一些简单的含义:以下基本流程中的每一个都决定了es时如何作为一个读写系统的行为的。更重要的是,因为读写请求都可以同步执行,所以这两个流程可能会交互在一起。这里有一些固有的含义: 高效读取 正常情况下,对每一个相关replication group执行一次读取操作 只有在失败的情况下,相同的分片才会有多个副本进行相同的查询读取未被认证 由于主要的第一个索引在本地然后复制请求,因此并发读取可能在确 认之前已经看到了更改(关于这句话不明白什么意思)默认两个副本 此模型可以容错,同时只保留两个数据副本,这与基于法定数量的系统形成对比,其中容错的最小副本数为3 故障单个分片会拖慢整个索引速度 由于主分片在执行复制操作过程中会等待in-sync中所有副本的结果,如果一个分片速度很慢会导致整个索引速度下降,这是我们为上述阅读效率支付的代价。当然一个速度慢的分片也会拖累路由到它身上的搜索。 脏数据一个主分片在本地执行写操作之后,如果此时该分片坏了,那么就不能让其他分片进行复制操作,从而导致脏数据。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码