通过Spark Streaming作业处理Kafka数据-低调大师

通过Spark Streaming作业处理Kafka数据

2019-12-26 781

本节介绍如何使用阿里云E-MapReduce部署Hadoop集群和Kafka集群，并运行Spark Streaming作业消费Kafka数据。

前提条件

已注册阿里云账号，详情请参见注册云账号。
已开通E-MapReduce服务。
已完成云账号的授权，详情请参见角色授权。

背景信息

在开发过程中，通常会遇到消费Kafka数据的场景。在阿里云E-MapReduce中，您可通过运行Spark Streaming作业来消费Kafka数据。

步骤一创建Hadoop集群和Kafka集群

推荐您将Hadoop集群和Kafka集群创建在同一个安全组下。如果Hadoop集群和Kafka集群不在同一个安全组下，则两者的网络默认是不互通的，您需要对两者的安全组分别进行相关配置，以使两者的网络互通。

登录阿里云 E-MapReduce 控制台。
创建Hadoop集群，详

微信关注我们

原文链接：https://yq.aliyun.com/articles/740848

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2019年常见Elasticsearch 面试题答案详细解析（下）

前言 1.Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。（1）查询： Elasticsearch 允许执行和合并多种类型的搜索 — 结构化、非结构化、地理位置、度量指标 — 搜索方式随心而变。（2）分析：找到与查询最匹配的十个文档是一回事。但是如果面对的是十亿行日志，又该如何解读呢？Elasticsearch 聚合让您能够从大处着眼，探索数据的趋势和模式。（3）速度： Elasticsearch 很快。真的，真的很快。（4）可扩展性：可以在笔记本电脑上运行。也可以在承载了 PB 级数据的成百上千台服务器上运行。（5）弹性： Elasticsearch 运行在一个分布式的环境中，从设计之初就考虑到了这一点。（6）灵活性：具备多个案例场景。数字、文本、地理位置、结构化、非结构化。所有的数据类型都欢迎。（7）HADOOP & SPARK ： Elasticsearch + Hadoop 2.Elasticsearch是一个高度可伸缩的开源全文搜索和分析引擎。它允许您快速和接近实时地存储、搜索和分析大量数据。这里有一些使用El...

2019-12-26

784

前言一边有一个经常引诱我让我“娱乐至死”的视频，还有一个不停“鞭策“我让我快点学习的大BOSS。正是有这两种极端的爱才让我常常在自信中明白自己努力的方向。嗯,"人间不值得"！ SCHEMA.XML介绍上一篇写了：数据库中间件DBLE学习(一) 基本介绍和快速搭建，主要介绍快速安装。在安装的过程中，我们配置了schema.xml文件。schema.xml是一个比较重要的文件。该文件提供了逻辑库，逻辑表，分片规则，数据分片，物理数据库等配置。它主要有以下几个标签组成。 schema标签，主要是逻辑库和逻辑表的配置，其中逻辑表又有多种类型，比如：全局表、分片表、ER分片表、非分片表等。 dataNode标签，主要定义了数据分片存放的节点，一个dataNode标签往往就对应着一个数据分片。 dataHost标签，主要定义了物理数据库及主从读写分离的配置。实战SCHEMA.XML配置接下来我们来实战一下，实战就拿经典PRODUCT表,ORDERS订单表来做实验。前面曾经介绍过逻辑表拆分可以有很多种类型。首先我们先规划一下，假设我们是一家新的电商公司，在电商平台上卖自家公司生产的商品，我们...

2019-12-27

617

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。