首页 文章 精选 留言 我的

Elasticsearch之索引模板index template与索引别名index alias

2017-10-08 649

为什么需要索引模板？

      在实际工作中针对一批大量数据存储的时候需要使用多个索引库，如果手工指定每个索引库的配置信息(settings和mappings)的话就很麻烦了。

所以，这个时候，就存在创建索引模板的必要了！！1

　　索引可使用预定义的模板进行创建,这个模板称作Index templates。模板设置包括settings和mappings，通过模式匹配的方式使得多个索引重用一个模板。

　　更多，请见

https://www.elastic.co/guide/en/elasticsearch/reference/2.4/indices-templates.html

 

索引别名的应用场景：

　　比如，公司使用es收集应用的运行日志，每个星期创建一个索引库，这样时间长了就会创建很多的索引库，操作和管理的时候很不方便。

　　由于新增索引数据只会操作当前这个星期的索引库，所以就创建了两个别名。

　　　　curr_week：这个别名指向这个星期的索引库，新增数据操作这个索引库。

　　　　last_3_month：这个别名指向最近三个月的所有索引库，因为我们的需求是查询最近三个月的日志信息。

　　后期只需要修改这两个别名和索引库之间的指向关系即可。应用层代码不需要任何改动。

　　还要把三个月以前的索引库close掉，留存最近一年的日志数据，一年以前的数据删除掉。

　  说明：可以类似，指定多个索引库查询。定义一个索引别名，如zhouls_all，将索引zhouls1映射到这个别名上，把索引zhouls2，把索引zhoulsn，也映射到这个别名上。

　　那么，在通过别名来查询时，直接同查询别名zhouls_all，就可以把对应所有的索引zhouls,1,2,...n都一次性查询完了。

 　　但是，如果你是具体要插入和操作数据，则，就不方便使用别名了。而是具体到某个索引zhoulsn了。

 

 

 

 

 

 

 

 

 

 

 

 

 

 一、索引模板index template操作示例

　　比如，我们会创建zhouls,zhouls1,zhouls2,,,等这样的索引库。那么，我们创建模板索引库指定是zhouls*。

那么，

　　1、创建自定义模板

　　在es的安装目录下，输入，如下，回车

复制代码 
curl -XPUT 192.168.80.10:9200/_template/template_1 -d '
{
    "template" : "zhouls*",
    "order" : 0,
    "settings" : {
        "number_of_shards" : 1
    },
    "mappings" : {
        "type1" : {
            "_source" : { "enabled" : false }
        }
    }
}
'
复制代码

　　 说明：  （1）模板template_1匹配所有的以zhouls开头的索引。

　　　　　　（2）索引模板是template_1，索引是zhouls*。

　　　　

 

 

 

 

 

 

[hadoop@HadoopMaster elasticsearch-2.4.3]$ curl -XPUT '192.168.80.10:9200/zhouls10/emp/1' -d '{"name":"zs"}'       （给索引zhouls10赋值）
{"_index":"zhouls10","_type":"emp","_id":"1","_version":1,"_shards":{"total":2,"successful":2,"failed":0},"created":true}[hadoop@HadoopMaster elasticsearch-2.4.3]$ 
[hadoop@HadoopMaster elasticsearch-2.4.3]$ 
[hadoop@HadoopMaster elasticsearch-2.4.3]$ curl -XGET http://192.168.80.10:9200/zhouls10/_settings?pretty    
{
"zhouls10" : {
"settings" : {
"index" : {
"creation_date" : "1488280491485",
"uuid" : "R4dWmru2T9uO1JFOE98r5w",
"number_of_replicas" : "1",
"number_of_shards" : "1",
"version" : {
"created" : "2040399"
}
}
}
}
}
[hadoop@HadoopMaster elasticsearch-2.4.3]$

 

 

 　　

 

 

 

 

　　2、查看定义的模板

curl -XGET 192.168.80.10:9200/_template/template_1

 

 　　　　我这里，创建定义模板temp*就省略了。

 

 

 

 

 

 

　　 3、删除定义模板

[hadoop@HadoopMaster elasticsearch-2.4.3]$ curl -XDELETE 192.168.80.10:9200/_template/template_1     （删除定义的模板）
{"acknowledged":true}[hadoop@HadoopMaster elasticsearch-2.4.3]$ 
[hadoop@HadoopMaster elasticsearch-2.4.3]$ curl -XGET http://192.168.80.10:9200/_template/template_1?pretty   （查看，可见删除模板成功）
{ }
[hadoop@HadoopMaster elasticsearch-2.4.3]$

 

 

 

[hadoop@HadoopMaster elasticsearch-2.4.3]$ curl -XDELETE 192.168.80.10:9200/_template/temp*    （删除定义的模板）
{"acknowledged":true}[hadoop@HadoopMaster elasticsearch-2.4.3]$  
[hadoop@HadoopMaster elasticsearch-2.4.3]$ curl -XGET http://192.168.80.10:9200/_template/temp*?pretty    （查看下，删除成功）
{ }
[hadoop@HadoopMaster elasticsearch-2.4.3]$

 

 

 

 

 

 

 

 

 

 

　　4、创建多个索引模板

         当存在多个索引模板时并且某个索引两者都匹配时，settings和mpapings将合成一个配置应用在这个索引上。合并的顺序可由索引模板的order属性来控制。

复制代码 
curl -XPUT 192.168.80.10:9200/_template/template_1 -d '
{
    "template" : "*",
    "order" : 0,
    "settings" : {
        "number_of_shards" : 1
    },
    "mappings" : {
        "type1" : {
            "_source" : { "enabled" : false }
        }
    }
}
'
复制代码

 　　得到，

 

 　　然后，输入如下：再创建一个模板

复制代码 
curl -XPUT 192.168.80.10:9200/_template/template_2 -d '
{
    "template" : "te*",
    "order" : 1,
    "settings" : {
        "number_of_shards" : 1
    },
    "mappings" : {
        "type1" : {
            "_source" : { "enabled" : true }
        }
    }
}
'
复制代码

　　得到，

 

　

[hadoop@HadoopMaster elasticsearch-2.4.3]$ curl -XGET 192.168.80.10:9200/_template/template_1 　　　　　　（查看模板template_1）
{"template_1":{"order":0,"template":"*","settings":{"index":{"number_of_shards":"1"}},"mappings":{"type1":{"_source":{"enabled":false}}},"aliases":{}}}[hadoop@HadoopMaster elasticsearch-2.4.3]$ 
[hadoop@HadoopMaster elasticsearch-2.4.3]$ curl -XGET 192.168.80.10:9200/_template/template_2　　　　　　  （查看模板template_1）
{"template_2":{"order":1,"template":"te*","settings":{"index":{"number_of_shards":"1"}},"mappings":{"type1":{"_source":{"enabled":true}}},"aliases":{}}}[hadoop@HadoopMaster elasticsearch-2.4.3]$ 
[hadoop@HadoopMaster elasticsearch-2.4.3]$

　　上述order为1的配置将覆盖order为0的配置，最终索引的配置source的enabled为true。

　　注意：order值大的模板内容会覆盖order值小的。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

5、模板配置文件：

         除了以上方式，索引模板也可以在文件中进行配置。索引模板的配置文件需要在每个

主节点的config目录下，目录结构为：config/templates/template_1.json,temp
late_1.json的样例如下：

复制代码 
 1 {  
 2   "template-logstash" : {  
 3     "template" : "logstash*",  
 4     "settings" : {  
 5       "index.number_of_shards" : 5,  
 6       "number_of_replicas" : 1, 7 "index" : { 8 "store" : { 9 "compress" : { 10 "stored" : true, 11 "tv": true 12  } 13  } 14  } 15  }, 16 "mappings" : { 17 "_default_" : { 18 "properties" : { 19 "dynamic" : "true", 20  }, 21  }, 22 "loadbalancer" : { 23 "_source" : { 24 "compress" : true, 25  }, 26 "_ttl" : { 27 "enabled" : true, 28 "default" : "10d" 29  }, 30 "_all" : { 31 "enabled" : false 32  }, 33 "properties" : { 34 "@fields" : { 35 "dynamic" : "true", 36 "properties" : { 37 "client" : { 38 "type" : "string", 39 "index" : "not_analyzed" 40  }, 41 "domain" : { 42 "type" : "string", 43 "index" : "not_analyzed" 44  }, 45 "oh" : { 46 "type" : "string", 47 "index" : "not_analyzed" 48  }, 49 "responsetime" : { 50 "type" : "double", 51  }, 52 "size" : { 53 "type" : "long", 54 "index" : "not_analyzed" 55  }, 56 "status" : { 57 "type" : "string", 58 "index" : "not_analyzed" 59  }, 60 "upstreamtime" : { 61 "type" : "double", 62  }, 63 "url" : { 64 "type" : "string", 65 "index" : "not_analyzed" 66  } 67  } 68  }, 69 "@source" : { 70 "type" : "string", 71 "index" : "not_analyzed" 72  }, 73 "@timestamp" : { 74 "type" : "date", 75 "format" : "dateOptionalTime" 76  }, 77 "@type" : { 78 "type" : "string", 79 "index" : "not_analyzed", 80 "store" : "no" 81  } 82  } 83  } 84  } 85  } 86 }
复制代码

 

 

 

 

 

 

 

 

 

 

 

 

二、索引别名index alias操作示例

1、增加索引别名

curl -XPOST 'http://192.168.80.10:9200/_aliases' -d '
{
    "actions" : [
        { "add" : { "index" : "zhouls", "alias" : "zhouls_all" } }
    ]
}'

　　即，zhouls是索引，zhouls_all是索引别名

　　可以看到，成功啦！

 

 

 

 

 2、可以同时为多个索引映射到一个索引别名

 

复制代码 
curl -XPOST 'http://192.168.80.10:9200/_aliases' -d '
{
    "actions" : [
        { "add" : { "index" : "zhouls", "alias" : "zhouls_all" } },
        { "add" : { "index" : "zhouls10", "alias" : "zhouls_all" } }
    ]
}'
复制代码

 

 

 

 

 

 

 

3、删除索引别名

　　1、删除索引zhouls映射的索引别名zhouls_all

复制代码 
curl -XPOST 'http://192.168.80.10:9200/_aliases' -d '
{
    "actions" : [
        { "remove" : { "index" : "zhouls", "alias" : "zhouls_all" } }
    ]
}'
复制代码

 

　　2、删除索引zhouls10映射的索引别名zhouls_all

复制代码 
curl -XPOST 'http://192.168.80.10:9200/_aliases' -d '
{
    "actions" : [
        { "remove" : { "index" : "zhouls10", "alias" : "zhouls_all" } }
    ]
}'
复制代码


本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6478168.html，如需转载请自行联系原作者

上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/368711

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MapReduce原理

1．什么是MapReduce? MapReduce是由Google公司的Jeffrey Dean和Sanjay Ghemawat开发的一个针对大规模群组中的海量数据处理的分布式编程模型。MapReduce实现了两个功能。Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集。而Reduce是把从两个或更多个Map中，通过多个线程，进程或者独立系统并行执行处理的结果集进行分类和归纳。Map()和Reduce()两个函数可能会并行运行，即使不是在同一的系统的同一时刻。 Google用MapReduce来索引每个抓取过来的Web页面。它取代了2004开始试探的最初索引算法，它已经证明在处理大量和非结构化数据集时更有效。用不同程序设计语言实现了多个MapReduce，包括Java, C++, Python, Perl, Ruby和C,其它语言。在某些范例里，如Lisp或者Python, Map()和Reduce()已经集成到语言自身的结构里面。通常，这些函数可能会如下定义： Map()函数把大数据集进行分解操作到两个或更多的小“桶”。而一个“桶”则是包含松散定义的逻辑记录或...
2017-10-08
605
上一篇

一脸懵逼学习基于CentOs的Hadoop集群安装与配置（三台机器跑集群）

1：Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 注意：HADOOP的核心组件有： 1）HDFS（分布式文件系统） 2）YARN（运算资源调度系统） 3）MAPREDUCE（分布式运算编程框架） Hadoop 中的分布式文件系统 HDFS 由一个管理结点 ( NameNode )和N个数据结点 ( DataNode )组成，每个结点均是一台普通的计算机。在使用上同我们熟悉的单机上的文件系统非常类似，一样可以建目录，创建，复制，删除文件，查看文件内容等。但其底层实现上是把文件切割成 Block，然后这些 Block 分散地存储于不同的 DataNode 上，每个 Block 还可以复制数份存储于不同的 DataNode 上，达到容错容灾之目的。NameNode 则是整个 HDFS 的核心，它通过维护一些数据结构，记录了每一个文件被切割成了多少个 Block，这些 Block 可以从...
2017-10-08
521
下一篇

相关文章

发表评论

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-04-11 大小: 1MB 下载: 9次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-04-24 大小: 189MB 下载: 6次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-04-12 大小: 1.42GB 下载: 4次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册