Elasticsearch之_default_—— 为索引添加默认映射-低调大师

Elasticsearch之_default_—— 为索引添加默认映射

2017-12-04 617

前篇说过，ES可以自动为文档设定索引。但是问题也来了——如果默认设置的索引不是我们想要的，该怎么办呢？

要知道ES这种搜索引擎都是以Index为实际的分区，Index里面包含了不同的类型，不同的类型是逻辑上的分区；每种类型可能包含有相同的字段，如果字段的类型相同还好，如果不同....那就会导致字段的冲突了。

本篇就讲述如何使用REST API以及Logstash设置默认的索引。

更多内容参考：Elasticsearch知识汇总

使用Rest API设置默认的索引

首先先看一下不设置默认索引时，我们想要索引一个IP地址的字段，会发生什么？输入下面的命令：

$ curl -XPUT localhost:9200/test/test/1 -d '{"ip":"192.168.0.1"}'

查看映射可以发现，我们想要存储成IP类型，但是默认给存储成了字符串类型：

$ curl -XGET localhost:9200/test/_mapping?pretty           {
  "test" : {
    "mappings" : {
      "test" : {
        "properties" : {
          "ip" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

这并不是我们想要的。

由于映射一旦设定好了，就不能修改了。因此再次实验的时候，需要删除索引test

$ curl -XDELETE localhost:9200/test                        

{"acknowledged":true}

然后设置test的默认映射：

$ curl -XPUT localhost:9200/test?pretty -d '{"mappings":{"_default_":{"properties":{"ip":{"type":"ip"}}}}}'

上面的命令中，设置test索引中，默认字段ip的属性为ip。这样我们查询test的映射时，发现ip字段已经被设置为ip：

$ curl -XGET localhost:9200/test/_mapping?pretty           {
  "test" : {
    "mappings" : {
      "_default_" : {
        "properties" : {
          "ip" : {
            "type" : "ip"
          }
        }
      }
    }
  }
}

然后插入一段数据，为了观察到插入数据后的映射的变化，可以多插入一个字段：

$ curl -XPUT localhost:9200/test/test/2 -d '{"name":"xingoo","ip":"192.168.0.1"}'

然后查询映射，可以读取到默认映射信息以及当前的映射信息：

$ curl -XGET localhost:9200/test/_mapping?pretty           {
  "test" : {
    "mappings" : {
      "test" : {
        "properties" : {
          "ip" : {
            "type" : "ip"
          },
          "name" : {
            "type" : "string"
          }
        }
      },
      "_default_" : {
        "properties" : {
          "ip" : {
            "type" : "ip"
          }
        }
      }
    }
  }
}

恭喜~IP字段的类型已经变成了ip，类似的，我们可以设置date,geo,object等类型。

在Logstash中配置默认的索引

Logstash中默认索引的设置是基于模板的，原理上跟上面差不多。

首先我们需要指定一个默认的映射文件，文件的内容大致如下：

{
  "template" : "logstash-*",
  "mappings" : {
    "_default_" : {
       "properties" : {
             "ip" :{
                  "type":"ip"
             }
          }
       }
    }
}

其中template定义了匹配的索引模式，如果针对于特定的某个索引，则直接写成索引的名字即可。下面定义了映射的相关信息，与API的内容相同。

有了上面的配置文件，就可以在Logstash中配置output插件了：

output {
    elasticsearch {
        host => "localhost" #ES的服务器地址
        protocol => "http" #使用的协议，默认可能会使用Node，具体还要看机器的环境
        index => "logstash-%{+YYYY.MM.dd}" #匹配的索引模式
        document_type => "test" #索引的类型，旧的配置会使用index_type，但是这个字段在新版本中已经被舍弃了，推荐使用document_type
　　     manage_template => true #注意默认为true,一定不能设置为false
        template_overwrite => true #如果设置为true，模板名字一样的时候，新的模板会覆盖旧的模板
        template_name => "myLogstash" #注意这个名字是用来查找映射配置的，尽量设置成全局唯一的
　　    template => "D:/test/logstash.conf" #映射配置文件的位置
    }
}

其中后四个是使用默认映射需要注意的地方，详细的可以多了解Logstash的源码。

参考

【1】_default_映射：https://www.elastic.co/guide/en/elasticsearch/reference/current/default-mapping.html

【2】Elasticsearch output插件：https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html

【3】ELK电子书：http://kibana.logstash.es/content/logstash/plugins/output/elasticsearch.html

本文转自博客园xingoo的博客，原文链接：Elasticsearch之_default_—— 为索引添加默认映射，如需转载请自行联系原博主。

微信关注我们

原文链接：https://yq.aliyun.com/articles/326376

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【X-Pack解读】阿里云Elasticsearch X-Pack 告警组件功能详解

X-Pack Alerting CPU 使用率意外增加, 应用响应时间激增；503 错误的数量火箭式上升；Elasticsearch 索引率直线下降。尽管情况层出不穷，但是您可以通过X-Pack的告警组件Alerting发送您所需的警报，让您随时随刻掌握应用情况。检测数据变化 X-Pack 中的 alerting 功能可让您充分利用 Elasticsearch 查询语言，当数据发生令您感兴趣的变化后，您能够发现这些变化。换言之，如果您能够在 Elasticsearch 中查询某些数据，就能够创建相应的告警。例如，当出现下列情况时，您将会收到通知。同一个用户一小时内从三个不同位置登录，您可以在收到通知后主动应对可能存在的入侵尝试。安全合规类行为及时发现和通知，如客户信用卡卡号等隐私数据在应用程序日志中可见，通知应用开发团队及时处理。您

2017-12-05

627

ES中有一个非常重要的特性——动态映射，即索引文档前不需要创建索引、类型等信息，在索引的同时会自动完成索引、类型、映射的创建。那么什么是映射呢？映射就是描述字段的类型、如何进行分析、如何进行索引等内容。本篇就着重讲述下，ES中映射的自动检测特性。更多内容参考：Elastisearch知识总结字段自动检测在某个字段第一次出现时，如果之前没有定义过映射，ES会自动检测它可能满足的类型，然后创建对应的映射。 JSON数据 ES中的数据类型 null 不会添加字段 trueorfalse boolean floatingpointnumber double integer long object object array 依赖于第一个非null得值 string 如果通过了date检测，则为date 如果通过了numeric检测，则为Number 上面就是类型自动检测的结果，除了上面列出的基本类型，其他的高级的类型比如geo,ip就需要手动指定了。日期自动检测日期自动检测，即date_detection是默认开启的，因此只要符合默认的日期格式，就可以自动创建成date类型日期的...

2017-12-05

663

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。