Elasticsearch之元数据(meta-fields)介绍

2017-12-28 538 89

image.png

1. 什么是meta-fields

在Elasticsearch下，一个文档除了有数据之外，它还包含了元数据(Metadata)。每创建一条数据时，都会对元数据进行写入等操作，当然有些元数据是在创建mapping的时候就会设置,

它里面定义了每个添加的doc的处理方式。类似于数据库的表结构数据。

2. 有哪些meta-fields

ES中元数据大体分为五中类型：身份元数据、索引元数据、文档元数据、路由元数据以及其他类型的元数据

2.1. 身份元数据

_index:文档所属索引 , 自动被索引，可被查询，聚合，排序使用，或者脚本里访问
_type：文档所属类型，自动被索引，可被查询，聚合，排序使用，或者脚本里访问
_id：文档的唯一标识，

建索引时候传入，不被索引，可通过_uid被查询，脚本里使用，不能参与聚合或排序
_uid：由_type和_id字段组成，自动被索引，可被查询，聚合，排序使用，或者脚本里访问

2.2. 索引元数据

_all：自动组合所有的字段值，以空格分割，可以指定分器词索引，但是整个值不被存储，所以此字段仅仅能被搜索，不能获取到具体的值
_field_names：索引了每个字段的名字，可以包含null值，可以通过exists查询或missing查询方法来校验特定的字段
_timestamp：可以手工指定时间戳值，也可以自动生成使用now()函数，除此之外还可以设置日期的格式化，忽略确实等功能
_ttl：对于一些会话数据或者验证码失效时间，一般来说是有生命周期的，在es中可以很方便的通过这个ttl来设置存活时间，比如1小时，或者10分钟，在超时过后，这个doc会被自动删除，这种方式并不适合按周或按天删除历史数据，如果是这种需求，可考虑使用索引级别的管理方式

2.3. 文档元数据

_source ：一个doc的原生的json数据，不会被索引，用于获取提取字段值，启动此字段，索引体积会变大，如果既想使用此字段

又想兼顾索引体积，可以开启索引压缩

https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index-modules.html#index-codec
_size：整个_source字段的字节数大小，需要单独安装一个插件才能展示，详情参见：https://www.elastic.co/guide/en/elasticsearch/plugins/5.4/mapper-size.html

_source是可以被禁用的，不过禁用之后部分功能再支持：

update api:https://www.elastic.co/guide/en/elasticsearch/reference/2.3/docs-update.html
<u>highlighting</u>：https://www.elastic.co/guide/en/elasticsearch/reference/2.3/search-request-highlighting.html
索引重建、修改mapping以及分词、索引升级
debug查询或者聚合语句
索引自动修复

2.4. 路由元数据

_parent：在同一个索引中，可以通过_parent字段来给两个不同mapping type的数据建立父子关系，在查询时可以通过has_child, has_parent等查询，来聚合join数据，需要注意的是，父子type必须不能是一样的，否则会识别失败。
_routing：一个doc可以被路由到指定的shard上，通过下面的规则：
shard_num = hash(_routing) % num_primary_shards
默认情况下，会使用doc的_id字段来参与路由规则，如果此doc有父子关系，则会以父亲的_id作为路由规则，以确保父子数据必须处于同一个shard上，以提高join效率

需要注意的是如果指定了使用自己的路由规则，如果两个文档_id参数一样，但是路由规则值不一样，有可能造成这两条数据被分发到不同的shard，所以在使用自己的路由规则时

注意_id参数的唯一性。

2.5. 其他

_meta：每个mapping type可以有不同的元数据类型，我们可以存储自己定义认为的元数据中，此字段支持查询和更新

3. 参考资料

https://www.elastic.co/guide/en/elasticsearch/reference/2.3/mapping-fields.html

http://m635674608.iteye.com/blog/2259528

http://www.111cn.net/jsp/J2EE-EJB/118565.htm

个人介绍：

高广超：多年一线互联网研发与架构设计经验，擅长设计与落地高可用、高性能、可扩展的互联网架构。

本文首发在高广超的简书博客转载请注明！

简书博客

头条号

微信关注我们

原文链接：https://yq.aliyun.com/articles/673674

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-12-29 00:00:00

hadoop实例sort

参考文献：http://www.hadooper.cn/dct/page/65777 1排序实例排序实例仅仅用 map/reduce框架来把输入目录排序放到输出目录。输入和输出必须是顺序文件，键和值是BytesWritable. mapper是预先定义的IdentityMapper，reducer 是预先定义的 IdentityReducer，两个都是把输入直接的输出。要运行这个例子：bin/hadoop jar hadoop-*-examples.jar sort [-m <#maps>] [-r <#reduces>] <in-dir> <out-dir> 2运行排序基准测试为了使得排序例子作为一个基准测试，用 RandomWriter产生10GB/node 的数据。然后用排序实例来进行排序。这个提供了一个可扩展性依赖于集群的大小的排序基准。默认情况下，排序实例用1.0*capacity作为 reduces的数量，依赖于你的集群的大小你可能会在1.75*capacity的情况下得到更好的结果。 To use the s...

523

2017-12-29 00:00:00

基于TableStore/MaxCompute的数据采集分析系统介绍

摘要在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求，搭建起来并不容易。今天我们来介绍一下基于阿里云表格存储，以及相关的大数据产品来采集与分析数据的方案。 TableStore TableStore(表格存储)是阿里云自主研发的专业级分布式NoSQL数据库，是基于共享存储的高性能、低成本、易扩展、全托管的半结构化数据存储平台，支撑互联网和物联网数据的高效计算与分析。目前不管是阿里巴巴集团内部，还是外部公有云用户，都有成千上万的系统在使用。覆盖了重吞吐的离线应用，以及重稳定性，性能敏感的在线应用。表格存储的具体的

526

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。