基于TableStore/MaxCompute的数据采集分析系统介绍-低调大师

基于TableStore/MaxCompute的数据采集分析系统介绍

2017-12-28 543

摘要

在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求，搭建起来并不容易。今天我们来介绍一下基于阿里云表格存储，以及相关的大数据产品来采集与分析数据的方案。

TableStore

TableStore(表格存储)是阿里云自主研发的专业级分布式NoSQL数据库，是基于共享存储的高性能、低成本、易扩展、全托管的半结构化数据存储平台，支撑互联网和物联网数据的高效计算与分析。

目前不管是阿里巴巴集团内部，还是外部公有云用户，都有成千上万的系统在使用。覆盖了重吞吐的离线应用，以及重稳定性，性能敏感的在线应用。表格存储的具体的

微信关注我们

原文链接：https://yq.aliyun.com/articles/326068

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Elasticsearch之元数据(meta-fields)介绍

image.png 1. 什么是meta-fields 在Elasticsearch下，一个文档除了有数据之外，它还包含了元数据(Metadata)。每创建一条数据时，都会对元数据进行写入等操作，当然有些元数据是在创建mapping的时候就会设置, 它里面定义了每个添加的doc的处理方式。类似于数据库的表结构数据。 2. 有哪些meta-fields ES中元数据大体分为五中类型：身份元数据、索引元数据、文档元数据、路由元数据以及其他类型的元数据 2.1. 身份元数据 _index:文档所属索引 , 自动被索引，可被查询，聚合，排序使用，或者脚本里访问 _type：文档所属类型，自动被索引，可被查询，聚合，排序使用，或者脚本里访问 _id：文档的唯一标识，建索引时候传入，不被索引，可通过_uid被查询，脚本里使用，不能参与聚合或排序 _uid：由_type和_id字段组成，自动被索引，可被查询，聚合，排序使用，或者脚本里访问 2.2. 索引元数据 _all：自动组合所有的字段值，以空格分割，可以指定分器词索引，但是整个值不被存储，所以此字段仅仅能被搜索，不能获取到具体的值 ...

2017-12-29

549

更新操作，一般用这个的，应该不会很多吧！ES本身还是一个倾向于查询检索的框架，对于这种更新的操作，太过频繁总归是不好的。不过阅读本篇后，你可以使用Script对所有的文档执行更新操作，也可以使用doc对部分文档执行更新，也可以使用upsert对不存在的文档执行添加操作。更新 Update更新操作允许ES获得某个指定的文档，可以通过脚本等操作对该文档进行更新。可以把它看成是先删除再索引的原子操作，只是省略了返回的过程，这样即节省了来回传输的网络流量，也避免了中间时间造成的文档修改冲突。下面就是更新的例子： curl -XPUT localhost:9200/test/type1/1 -d '{ "counter" : 1, "tags" : ["red"] }' 脚本更新 Es支持通过脚本更改文档的信息： curl -XPOST 'localhost:9200/test/type1/1/_update' -d '{ "script" : { "inline": "ctx._source.counter += count", "params" : { "count" : 4 } } ...

2017-12-30

489

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。