【产品解读】阿里云 Elasticsearch 在日志场景中实现“低成本高性能”-低调大师

【产品解读】阿里云 Elasticsearch 在日志场景中实现“低成本高性能”

2020-02-11 724

本文字数：1435
预计阅读：3~5分钟

您将了解：
1、数据写入导致的高并发集群打爆问题，如何解决？
2、TB、PB级数据如何降低存储成本？
3、原生Elasticsearch在时序查询上的瓶颈如何突破？
4、峰谷差异大，如何避免闲置成本？

【全链路云上Elastic Stack 全景图】100%兼容开源，9大独有能力

----> 直播回顾 | 请点击观看：阿里云Elasticsearch日志增强版介绍

寻根问源

日志场景面临的问题

日志场景是Elasticsearch使用中较为常见的场景，而大量日志数据让企业在追求经济效应与性能效应的同时，对产品本身提出了更为苛刻的要求。

1、高并发写入问题：
Elasticsearch在日志数据写入过程中，会同时对主副分片同步写入，还会去写开销较大的trancelog，从而造成Elasticsearch在

微信关注我们

原文链接：https://yq.aliyun.com/articles/744496

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

系列文章：Kubernetes日志采集最佳实践

前言上一期主要介绍Kubernetes日志输出的一些注意事项，日志输出最终的目的还是做统一的采集和分析。在Kubernetes中，日志采集和普通虚拟机的方式有很大不同，相对实现难度和部署代价也略大，但若使用恰当则比传统方式自动化程度更高、运维代价更低。 Kubernetes日志采集难点在Kubernetes中，日志采集相比传统虚拟机、物理机方式要复杂很多，最根本的原因是Kubernetes把底层异常屏蔽，提供更加细粒度的资源调度，向上提供稳定、动态的环境。因此日志采集面对的是更加丰富、动态的环境，需要考虑的点也更加的多。例如：对于运行时间很短的Job类应用，从启动到停止只有几秒的时间，如何保证日志采集的实时性能够跟上而且数据不丢？ K8s一般推荐使用大规格节点，每个节点可以运行10-100+的容器，如何在资源消耗尽可能低的情况下采集100+的容器？在K8s中，应用都以yaml的方式部署，而日志采集还是以手工的配置文件形式为主，如何能够让日志采集以K8s的方式进行部署？ Kubernetes 传统方式日志种类文件、stdout、宿主机文件、journal 文件、journa...

2020-02-12

737

云栖号：https://yqh.aliyun.com第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！学习新事物时，我们常常对所有可能发生的情况都不了解。通过反复试错，我们会总结出一个方法或一个规律来应对新事物可能发生的问题，一旦某个方法十分有效，我们就会一直使用这个方法…… 在Python中，这个方法就是使用列表。列表十分方便、它的结构清晰灵活。而且学习列表推导有着一种纯粹的乐趣，就像是中了数据类型中的头奖。使用列表的感觉就像是在《火影死神大乱斗》游戏中一直使用自己最爱的特殊招式。和许多东西一样，Python也有一些藏得并不隐蔽的“宝石”，这些“宝石”能够为Python的爱好者们提升技能等级，其中有两个宝石，它们分别是：元组和集合。现在，让我们来看一看这些特殊的数据类型，并探讨为什么应该使用这些数据类型而不用列表。元组元组是不可变的有序项序列。“不可变”——是它的秘密武器。一旦定义了元组，它就不能被更改。使用元组的规则与列表几乎相同，不同之处只是使用圆括号而不是方括号。另外，还可以获取列表并将其转换为元组。 # how...

2020-02-12

612

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

【产品解读】阿里云 Elasticsearch 在日志场景中实现“低成本高性能”