【产品解读】阿里云 Elasticsearch 在日志场景中实现“低成本高性能”-低调大师

【产品解读】阿里云 Elasticsearch 在日志场景中实现“低成本高性能”

2020-02-11 709

本文字数：1435
预计阅读：3~5分钟

您将了解：
1、数据写入导致的高并发集群打爆问题，如何解决？
2、TB、PB级数据如何降低存储成本？
3、原生Elasticsearch在时序查询上的瓶颈如何突破？
4、峰谷差异大，如何避免闲置成本？

【全链路云上Elastic Stack 全景图】100%兼容开源，9大独有能力

----> 直播回顾 | 请点击观看：阿里云Elasticsearch日志增强版介绍

寻根问源

日志场景面临的问题

日志场景是Elasticsearch使用中较为常见的场景，而大量日志数据让企业在追求经济效应与性能效应的同时，对产品本身提出了更为苛刻的要求。

1、高并发写入问题：
Elasticsearch在日志数据写入过程中，会同时对主副分片同步写入，还会去写开销较大的trancelog，从而造成Elasticsearch在

微信关注我们

原文链接：https://yq.aliyun.com/articles/744496

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

系列文章：Kubernetes日志采集最佳实践

前言上一期主要介绍Kubernetes日志输出的一些注意事项，日志输出最终的目的还是做统一的采集和分析。在Kubernetes中，日志采集和普通虚拟机的方式有很大不同，相对实现难度和部署代价也略大，但若使用恰当则比传统方式自动化程度更高、运维代价更低。 Kubernetes日志采集难点在Kubernetes中，日志采集相比传统虚拟机、物理机方式要复杂很多，最根本的原因是Kubernetes把底层异常屏蔽，提供更加细粒度的资源调度，向上提供稳定、动态的环境。因此日志采集面对的是更加丰富、动态的环境，需要考虑的点也更加的多。例如：对于运行时间很短的Job类应用，从启动到停止只有几秒的时间，如何保证日志采集的实时性能够跟上而且数据不丢？ K8s一般推荐使用大规格节点，每个节点可以运行10-100+的容器，如何在资源消耗尽可能低的情况下采集100+的容器？在K8s中，应用都以yaml的方式部署，而日志采集还是以手工的配置文件形式为主，如何能够让日志采集以K8s的方式进行部署？ Kubernetes 传统方式日志种类文件、stdout、宿主机文件、journal 文件、journa...

2020-02-12

719

云栖号：https://yqh.aliyun.com第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！学习新事物时，我们常常对所有可能发生的情况都不了解。通过反复试错，我们会总结出一个方法或一个规律来应对新事物可能发生的问题，一旦某个方法十分有效，我们就会一直使用这个方法…… 在Python中，这个方法就是使用列表。列表十分方便、它的结构清晰灵活。而且学习列表推导有着一种纯粹的乐趣，就像是中了数据类型中的头奖。使用列表的感觉就像是在《火影死神大乱斗》游戏中一直使用自己最爱的特殊招式。和许多东西一样，Python也有一些藏得并不隐蔽的“宝石”，这些“宝石”能够为Python的爱好者们提升技能等级，其中有两个宝石，它们分别是：元组和集合。现在，让我们来看一看这些特殊的数据类型，并探讨为什么应该使用这些数据类型而不用列表。元组元组是不可变的有序项序列。“不可变”——是它的秘密武器。一旦定义了元组，它就不能被更改。使用元组的规则与列表几乎相同，不同之处只是使用圆括号而不是方括号。另外，还可以获取列表并将其转换为元组。 # how...

2020-02-12

597

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

【产品解读】阿里云 Elasticsearch 在日志场景中实现“低成本高性能”