内核调优 | 如何提升Elasticsearch master调度性能40倍-低调大师

内核调优 | 如何提升Elasticsearch master调度性能40倍

2020-02-20 633 89

作者：兴丰__阿里云Elasticsearch团队高级开发工程师

本文字数：1299
阅读时间：2~5分钟

以下是正文

背景

我们在协助某Elasticsearch用户准备将自建集群迁往阿里云Elasticsearch的过程中发现，自建集群从ES6.3.2版本升级到7.4.0版本后，master变得特别卡，创建索引和删除耗时超过1分钟。该集群当时有3个专有主节点、10个热节点、2个冷节点，超过5万个shard，绝大部分索引/shard都是关闭的，当索引过期移动到冷节点就close掉，需要查询时再调用open命令打开。同时，在试过6.x到7.x的多个版本后，发现自7.2.0后的版本都有问题，而即使把专有主节点升级到32c64g的规格，还是不行。

思考

由于是自建的线上生产集群，登录机器和查看集群状态极为不便，也有一定的风险。因此计划先从Elas

微信关注我们

原文链接：https://yq.aliyun.com/articles/745572

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2020-02-21 00:00:00

Kubernetes可观察性：全方位事件监控

随着微服务、云原生的逐渐普及，越来越多的公司开始基于Kubernetes实现业务架构转型，Kubernetes也成为近两年IT领域最火热的关键词之一。 Kubernetes是一套非常完善、复杂的管理系统，作为所有业务的基础设施，每个工程师都会在平台上测试、部署、上线应用，所有这些过程都需要我们对业务、系统运行的状态进行实时的掌握和监控。因此可观察性是用好Kubernetes的关键一环。 Kubernetes Events 为了让用户对Kubernetes的内部状态有更好的了解，Kubernetes引入了事件（Events）系统，在Kubernetes的资源产生变化的时候，会以事件的形式记录在APIServer中，并可以通过API或者 kubectl 命令去查看，例如： $ kubectl describe pod productpage-v1-7658b8dcc6-jvswr ........... ........... Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Schedule...

645

2020-02-21 00:00:00

解析SparkStreaming和Kafka集成的两种方式

spark streaming是基于微批处理的流式计算引擎，通常是利用spark core或者spark core与spark sql一起来处理数据。在企业实时处理架构中，通常将spark streaming和kafka集成作为整个大数据处理架构的核心环节之一。针对不同的spark、kafka版本，集成处理数据的方式分为两种：Receiver based Approach和Direct Approach，不同集成版本处理方式的支持，可参考下图： Receiver based Approach 基于receiver的方式是使用kafka消费者高阶API实现的。对于所有的receiver，它通过kafka接收的数据会被存储于spark的executors上，底层是写入BlockManager中，默认200ms生成一个block（通过配置参

660

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。