【产品解读】阿里云 Elasticsearch 在日志场景中实现“低成本高性能”-低调大师

【产品解读】阿里云 Elasticsearch 在日志场景中实现“低成本高性能”

2020-02-11 691 89

本文字数：1435
预计阅读：3~5分钟

您将了解：
1、数据写入导致的高并发集群打爆问题，如何解决？
2、TB、PB级数据如何降低存储成本？
3、原生Elasticsearch在时序查询上的瓶颈如何突破？
4、峰谷差异大，如何避免闲置成本？

【全链路云上Elastic Stack 全景图】100%兼容开源，9大独有能力

----> 直播回顾 | 请点击观看：阿里云Elasticsearch日志增强版介绍

寻根问源

日志场景面临的问题

日志场景是Elasticsearch使用中较为常见的场景，而大量日志数据让企业在追求经济效应与性能效应的同时，对产品本身提出了更为苛刻的要求。

1、高并发写入问题：
Elasticsearch在日志数据写入过程中，会同时对主副分片同步写入，还会去写开销较大的trancelog，从而造成Elasticsearch在

微信关注我们

原文链接：https://yq.aliyun.com/articles/744496

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

系列文章：Kubernetes日志采集最佳实践

前言上一期主要介绍Kubernetes日志输出的一些注意事项，日志输出最终的目的还是做统一的采集和分析。在Kubernetes中，日志采集和普通虚拟机的方式有很大不同，相对实现难度和部署代价也略大，但若使用恰当则比传统方式自动化程度更高、运维代价更低。 Kubernetes日志采集难点在Kubernetes中，日志采集相比传统虚拟机、物理机方式要复杂很多，最根本的原因是Kubernetes把底层异常屏蔽，提供更加细粒度的资源调度，向上提供稳定、动态的环境。因此日志采集面对的是更加丰富、动态的环境，需要考虑的点也更加的多。例如：对于运行时间很短的Job类应用，从启动到停止只有几秒的时间，如何保证日志采集的实时性能够跟上而且数据不丢？ K8s一般推荐使用大规格节点，每个节点可以运行10-100+的容器，如何在资源消耗尽可能低的情况下采集100+的容器？在K8s中，应用都以yaml的方式部署，而日志采集还是以手工的配置文件形式为主，如何能够让日志采集以K8s的方式进行部署？ Kubernetes 传统方式日志种类文件、stdout、宿主机文件、journal 文件、journa...

698

注意！在python中不要所有操作都用列表

云栖号：https://yqh.aliyun.com第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！学习新事物时，我们常常对所有可能发生的情况都不了解。通过反复试错，我们会总结出一个方法或一个规律来应对新事物可能发生的问题，一旦某个方法十分有效，我们就会一直使用这个方法…… 在Python中，这个方法就是使用列表。列表十分方便、它的结构清晰灵活。而且学习列表推导有着一种纯粹的乐趣，就像是中了数据类型中的头奖。使用列表的感觉就像是在《火影死神大乱斗》游戏中一直使用自己最爱的特殊招式。和许多东西一样，Python也有一些藏得并不隐蔽的“宝石”，这些“宝石”能够为Python的爱好者们提升技能等级，其中有两个宝石，它们分别是：元组和集合。现在，让我们来看一看这些特殊的数据类型，并探讨为什么应该使用这些数据类型而不用列表。元组元组是不可变的有序项序列。“不可变”——是它的秘密武器。一旦定义了元组，它就不能被更改。使用元组的规则与列表几乎相同，不同之处只是使用圆括号而不是方括号。另外，还可以获取列表并将其转换为元组。 # how...

582

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。