elasticsearch 配置文件-低调大师

elasticsearch 配置文件

2016-07-13 657

elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。

配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。

   Java代码  
    
 cluster.name: elasticsearch

节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。

   Java代码  
    
 node.name: "Franz Kafka"

指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。

   Java代码  
    
 node.master: true

指定该节点是否存储索引数据，默认为true。

   Java代码  
    
 node.data: true

设置默认索引分片个数，默认为5片。

   Java代码  
    
 index.number_of_shards: 5

设置默认索引副本个数，默认为1个副本。

   Java代码  
    
 index.number_of_replicas: 1

设置配置文件的存储路径，默认是es根目录下的config文件夹。

   Java代码  
    
 path.conf: /path/to/conf

设置索引数据的存储路径，默认是es根目录下的data文件夹

   Java代码  
    
 path.data: /path/to/data

可以设置多个存储路径，用逗号隔开，例：

   Java代码  
    
 path.data: /path/to/data1,/path/to/data2

设置临时文件的存储路径，默认是es根目录下的work文件夹。

   Java代码  
    
 path.work: /path/to/work

设置日志文件的存储路径，默认是es根目录下的logs文件夹

   Java代码  
    
 path.logs: /path/to/logs

设置插件的存放路径，默认是es根目录下的plugins文件夹

   Java代码  
    
 path.plugins: /path/to/plugins

强制所有内存锁定，不要搞什么swap的来影响性能
设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，linux下可以通过`ulimit -l unlimited`命令。

   Java代码  
    
 bootstrap.mlockall: true

设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。

   Java代码  
    
 network.bind_host: 192.168.0.1

设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。

   Java代码  
    
 network.publish_host: 192.168.0.1

这个参数是用来同时设置bind_host和publish_host上面两个参数。

   Java代码  
    
 network.host: 192.168.0.1

设置节点间交互的tcp端口，默认是9300。

   Java代码  
    
 transport.tcp.port: 9300

设置是否压缩tcp传输时的数据，默认为false，不压缩。

   Java代码  
    
 transport.tcp.compress: true

设置对外服务的http端口，默认为9200。

   Java代码  
    
 http.port: 9200

设置内容的最大容量，默认100mb

   Java代码  
    
 http.max_content_length: 100mb

是否使用http协议对外提供服务，默认为true，开启。

   Java代码  
    
 http.enabled: false

网络配置

   Java代码  
    
  
 #network.tcp.keep_alive : true   
 #network.tcp.send_buffer_size : 8192   
 #network.tcp.receive_buffer_size : 8192   

自动发现相关配置

   Java代码  
    
  
 #discovery.zen.fd.connect_on_network_disconnect : true   
 #discovery.zen.initial_ping_timeout : 10s   
 #discovery.zen.fd.ping_interval : 2s   
 #discovery.zen.fd.ping_retries  : 10   

The gateway snapshot interval (only applies to shared gateways).

   Java代码  
    
 #index.gateway.snapshot_interval : 1s

分片异步刷新时间间隔

   Java代码  
    
 #index.refresh_interval : -1

Set to an actual value (like 0-all) or false to disable it.

   Java代码  
    
 index.auto_expand_replicas

Set to true to have the index read only. false to allow writes and metadata changes.

   Java代码  
    
 index.blocks.read_only

Set to true to disable read operations against the index.

   Java代码  
    
 index.blocks.read

Set to true to disable write operations against the index.

   Java代码  
    
 index.blocks.write

Set to true to disable metadata operations against the index.

   Java代码  
    
 index.blocks.metadata

Lucene index term间隔，仅用于新创建的doc

   Java代码  
    
 index.term_index_interval

Lucene reader term index divisor

   Java代码  
    
 index.term_index_divisor

When to flush based on operations.

   Java代码  
    
 index.translog.flush_threshold_ops

When to flush based on translog (bytes) size.

   Java代码  
    
 index.translog.flush_threshold_size

When to flush based on a period of not flushing.

   Java代码  
    
 index.translog.flush_threshold_period

Disables flushing. Note, should be set for a short interval and then enabled.

   Java代码  
    
 index.translog.disable_flush

The maximum size of filter cache (per segment in shard). Set to -1 to disable.

   Java代码  
    
 index.cache.filter.max_size

The expire after access time for filter cache. Set to -1 to disable.

   Java代码  
    
 index.cache.filter.expire

merge policy
All the settings for the merge policy currently configured. A different merge policy can’t be set.

A node matching any rule will be allowed to host shards from the index.

   Java代码  
    
 index.routing.allocation.include.*

A node matching any rule will NOT be allowed to host shards from the index.

   Java代码  
    
 index.routing.allocation.exclude.*

Only nodes matching all rules will be allowed to host shards from the index.

   Java代码  
    
 index.routing.allocation.require.*

Controls the total number of shards allowed to be allocated on a single node. Defaults to unbounded (-1).

   Java代码  
    
 index.routing.allocation.total_shards_per_node

When using local gateway a particular shard is recovered only if there can be allocated quorum shards in the cluster. It can be set to quorum (default), quorum-1 (or half), full and full-1. Number values are also supported, e.g. 1.

   Java代码  
    
 index.recovery.initial_shards

Disables temporarily the purge of expired docs.

   Java代码  
    
 index.ttl.disable_purge

默认索引合并因子

   Java代码  
    
  
 #index.merge.policy.merge_factor : 100   
 #index.merge.policy.min_merge_docs : 1000   
 #index.merge.policy.use_compound_file : true   
 #indices.memory.index_buffer_size : 5%   

Gateway相关配置
当集群期望节点达不到的时候，集群就会处于block，无法正常索引和查询，说明集群中某个节点未能正常启动，这正是我们期望的效果，block住，避免照成数据的不一致。
gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。

   Java代码  
    
 gateway.type: local

设置集群中N个节点启动时进行数据恢复，默认为1。

   Java代码  
    
 gateway.recover_after_nodes: 1

设置初始化数据恢复进程的超时时间，默认是5分钟。

   Java代码  
    
 gateway.recover_after_time: 5m

设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。

   Java代码  
    
 gateway.expected_nodes: 2

初始化数据恢复时，并发恢复线程的个数，默认为4。

   Java代码  
    
 cluster.routing.allocation.node_initial_primaries_recoveries: 4

添加删除节点或负载均衡时并发恢复线程的个数，默认为4。

   Java代码  
    
 cluster.routing.allocation.node_concurrent_recoveries: 2

设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。

   Java代码  
    
 indices.recovery.max_size_per_sec: 0

设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。

   Java代码  
    
 indices.recovery.concurrent_streams: 5

设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）。

   Java代码  
    
 discovery.zen.minimum_master_nodes: 1

设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。

   Java代码  
    
 discovery.zen.ping.timeout: 3s

   Java代码  
    
 discovery.zen.ping.multicast.enabled: false

设置是否打开多播发现节点，默认是true。
当禁用multcast广播的时候，可以手动设置集群的节点ip

设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。

   Java代码  
    
 discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

下面是一些查询时的慢日志参数设置

   Java代码  
    
  
 index.search.slowlog.level: TRACE   
 index.search.slowlog.threshold.query.warn: 10s   
 index.search.slowlog.threshold.query.info: 5s   
 index.search.slowlog.threshold.query.debug: 2s   
 index.search.slowlog.threshold.query.trace: 500ms   
    
 index.search.slowlog.threshold.fetch.warn: 1s   
 index.search.slowlog.threshold.fetch.info: 800ms   
 index.search.slowlog.threshold.fetch.debug:500ms   
 index.search.slowlog.threshold.fetch.trace: 200ms   

1.设置cache大小和过期时间。

   Java代码  
    
  
 index.cache.field.max_size   
    index.cache.field.expire   

例如设置：
//index中每个segment中可包含的最大的entries数目

   Java代码  
    
 index.cache.field.max_size: 50000

//过期时间为10分钟

   Java代码  
    
 index.cache.field.expire: 10m

2.改变cache类型。

   Java代码  
    
 index.cache.field.type: soft

默认类型为resident，字面意思是常驻（居民），一直增加，直到内存耗尽。改为soft就是当内存不足的时候，先clear掉占用的，然后再往内存中放。设置为soft后，相当于设置成了相对的内存大小。resident的话，除非内存够大。

3.对数据进行处理。
文章中提到的是减小字段值长度，如将大写转成小写。
这点上，实际中可能将数据精炼。当然，也可以把要做facet的字段做一个转化，用int型代替。
关于string转化int呢，可以参考M大神的: https://github.com/medcl/elasticsearch-analysis-string2int

微信关注我们

原文链接：https://yq.aliyun.com/articles/70042

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

elasticsearch的一些基本概念

elasticsearch的一些基本概念需要我们注意的是，这些概念理解只是解释其含义，不推荐强制翻译成中文。 Index：这是ES存储数据的地方，类似于关系数据库的database。 Document type：嗯，类似关系数据库的表，主要功能是将完全不同schema（这个概念以后会讲到，不急）的数据分开，一个index里面可以有若干个Document type。 Document：好吧，这个类似关系数据库的一行，在同一个Document type下面，每一Document都有一个唯一的ID作为区分； Filed：类似关系数据库的某一列，这是ES数据存储的最小单位。 Cluster和Node：ES可以以单点或者集群方式运行，以一个整体对外提供search服务的所有节点组成cluster，组成这个cluster的各个节点叫做node。 shard：通常叫分片，这是ES提供分布式搜索的基础，其含义为将一个完整的index分成若干部分存储在相同或不同的节点上，这些组成index的部分就叫做shard。 Replica：和replication通常指的都是一回事，即index的冗余备份，可以...

2016-07-14

599

elasticsearch 分布式

简介开始学es，我习惯边学边记，总结出现的问题和解决方法。本文是在两台linux虚拟机下，安装了三个节点。本次搭建es同时实践了两种模式——单机模式和分布式模式。条件允许的话，可以在多台机器上配置es节点，如果你机器性能有限，那么可以在一台虚拟机上完成多节点的配置。如图，是本次3个节点的分布。虚拟机主机名 IP es节点 master 192.168.137.100 node1、node3 slave 192.168.137.101 node2 一、下载及配置 1.几个基本名词 index:es里的index相当于一个数据库。type:相当于数据库里的一个表。id：唯一，相当于主键。node:节点是es实例，一台机器可以运行多个实例，但是同一台机器上的实例在配置文件中要确保http和tcp端口不同（下面有讲）。cluster:代表一个集群，集群中有多个节点，其中有一个会被选为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式...

2016-07-14

494

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。