解析SparkStreaming和Kafka集成的两种方式-低调大师

解析SparkStreaming和Kafka集成的两种方式

2020-02-20 674

spark streaming是基于微批处理的流式计算引擎，通常是利用spark core或者spark core与spark sql一起来处理数据。在企业实时处理架构中，通常将spark streaming和kafka集成作为整个大数据处理架构的核心环节之一。

针对不同的spark、kafka版本，集成处理数据的方式分为两种：Receiver based Approach和Direct Approach，不同集成版本处理方式的支持，可参考下图：

Receiver based Approach

基于receiver的方式是使用kafka消费者高阶API实现的。
对于所有的receiver，它通过kafka接收的数据会被存储于spark的executors上，底层是写入BlockManager中，默认200ms生成一个block（通过配置参

微信关注我们

原文链接：https://yq.aliyun.com/articles/745615

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

内核调优 | 如何提升Elasticsearch master调度性能40倍

作者：兴丰__阿里云Elasticsearch团队高级开发工程师本文字数：1299阅读时间：2~5分钟以下是正文背景我们在协助某Elasticsearch用户准备将自建集群迁往阿里云Elasticsearch的过程中发现，自建集群从ES6.3.2版本升级到7.4.0版本后，master变得特别卡，创建索引和删除耗时超过1分钟。该集群当时有3个专有主节点、10个热节点、2个冷节点，超过5万个shard，绝大部分索引/shard都是关闭的，当索引过期移动到冷节点就close掉，需要查询时再调用open命令打开。同时，在试过6.x到7.x的多个版本后，发现自7.2.0后的版本都有问题，而即使把专有主节点升级到32c64g的规格，还是不行。思考由于是自建的线上生产集群，登录机器和查看集群状态极为不便，也有一定的风险。因此计划先从Elas

2020-02-21

643

云栖号：https://yqh.aliyun.com第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！根据《中国机器人产业发展2019报告》数据，2019年国内的服务机器人市场规模有望达22亿美元，同比增长约33.1%，高于全球服务机器人市场增速。尽管市场规模高速增长，但是服务机器人距离产业化却还有一定距离，目前国内A股很少有服务机器人上市公司，大部分是由并购切入；国内创业企业也大多处在落地场景的探索状态，量产始终是问题。小胖机器人通过切入商用机器人在教育领域，并且将应用的细分领域定位在幼儿园、小学场景，重点针对解决教师重复性教学的问题上，目前客户数量已经达到3000多家。小胖机器人成立于2015年，是一家智能机器人服务研发商，目前拥有家用和商用两大产品线，其中商用服务机器人（小胖）目前占绝大部分营收，也是公司当前占领主要市场份额的产品。从技术路线上看，公司通过自主研发人工智能视觉识别、机器视觉、语音识别等技术来组建导航认知系统，使机器人在陌生环境中可以通过构建地图、规划路径和自主移动来准确识别命令并达到目的地，搭配红外传感器和...

2020-02-21

700

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。