Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输-低调大师

Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输

2017-07-31 514

对于寻找方法快速吸收数据到Hadoop数据池的企业， Kafka是一个伟大的选择。Kafka是什么? 它是一个分布式，可扩展的可靠消息系统，把采取发布-订阅模型的应用程序/数据流融为一体。这是Hadoop的技术堆栈中的关键部分，支持实时数据分析或物联网数据货币化。

本文目标读者是技术人员。继续读，我会图解Kafka如何从关系数据库管理系统(RDBMS)里流输数据到Hive，这可以提供一个实时分析使用案例。为了参考方便，本文使用的组件版本是Hive 1.2.1，Flume 1.6和Kafka 0.9。

如果你想看一下Kafka是什么和其用途的概述，看看我在Datafloq 上发布的一篇早期博客。

Kafka用武之地：整体解决方案架构

下图显示了在整体解决方案架构中，RDBMS的业务数据传递到目标 Hive 表格结合了 Kafka ， Flume和Hive交易功能。

7步实时流传输到Hadoop

现在深入到解决方案的详细信息，我会告诉你如何简单几步实时流输数据到Hadoop。

1. 从关系数据库管理系统(RDBMS)提取数据

所有关系数据库都有一个记录最近交易的日志文件。我们的传输流解决方案的第一步是，在能够传到Hadoop的信息格式中获得这些交易。讲完提取机制得单独占用一篇博文–所以如果你想了解更多此过程的信息，请联系我们。

2. 建立Kafka Producer

发布消息到Kafka主题的过程被称为“生产者”。“主题”是Kafka保存的分类消息。 RDBMS的交易将被转换为Kafka话题。对于该例，让我们想一想销售团队的数据库，其中的交易是作为Kafka主题发表的。建立Kafka生产者需要以下步骤：

3. 设置 Hive

接下来，我们将在Hive中创建一张表，准备接收销售团队的数据库事务。在这个例子中，我们将创建一个客户表：

为了让Hive能够处理交易，配置中需要以下设置：

hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.dbtxnmanager

4.设置Flume Agent，从Kafka到Hive流传输

现在让我们来看看如何创建Flume代理，实现从Kafka主题中获取数据，发送到Hive表。

遵循步骤来设置环境，然后建立Flume代理：

接着，如下创建一个log4j属性文件：

然后为Flume代理使用下面的配置文件：

5.开启Flume代理

使用如下命令开启Flume代理：

$ /usr/hdp/apache-flume-1.6.0/bin/flume-ng agent -n flumeagent1 -f ~/streamingdemo/flume/conf/flumetohive.conf

6.开启Kafka Stream

如下示例，是一个模拟交易消息，在实际系统中需要由源数据库生成。例如，以下可能来自重复SQL交易的Oracle数据流，这些交易已提交到数据库，也可能来自GoledenGate。

7.接收Hive数据

以上所有完成，现在从Kafka发送数据，你会看到，几秒之内，数据流就发送到Hive表了。

本文作者：Rajesh Nadipalli

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/183892

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017年数据中心基础架构趋势

日前，Vertiv(前身为艾默生网络能源)发布了2017年最值得关注的六大数据中心基础架构趋势。 Vertiv的全球营销与战略副总裁Gary Niederpruem表示，“我们正在继续向云的时代迈进。云的时代为使用和交付云及托管数据中心资源的组织带来了挑战和机遇。在我们去年发布的2016年趋势之中，我们聚焦于突破性的宏观趋势，例如不断演变的云模式，以及社会责任所发挥的作用。今年，我们将聚焦于关键基础架构领域的技术进步，这些进步将使边缘、企业、托管和云的数据中心能够适应2017年及未来的变化。” 2017年数据中心生态系统的六大基础架构趋势： 1.基础架构正在快速跟上边缘数据中心的连接能力分布式IT和工业物联网正在将IT资源推向更接近用户和工业流程的位置。虽然数据中心仍然是使用核心数据中心来交付应用软件和服务的核心，但是随着连接互联网的传感器和设备不断增多，以及远端用户要求更快地访问信息，诸如销售点和存货管理、网络设备柜和微型数据中心等的数量不断增多并且其重要性不断提高。为了应对这些变化，用户将求助于预配置的微型数据中心解决方案，以便于快速开展部署，提高标准化水平，以及实现对分布式IT...

2017-08-01

517

一、 PostgreSQL 的稳定性极强， Innodb 等引擎在崩溃、断电之类的灾难场景下抗打击能力有了长足进步，然而很多 MySQL 用户都遇到过Server级的数据库丢失的场景——mysql系统库是MyISAM的，相比之下，PG数据库这方面要好一些。二、任何系统都有它的性能极限，在高并发读写，负载逼近极限下，PG的性能指标仍可以维持双曲线甚至对数曲线，到顶峰之后不再下降，而 MySQL 明显出现一个波峰后下滑（5.5版本之后，在企业级版本中有个插件可以改善很多，不过需要付费）。三、PG 多年来在 GIS 领域处于优势地位，因为它有丰富的几何类型，实际上不止几何类型，PG有大量字典、数组、bitmap 等数据类型，相比之下mysql就差很多，instagram就是因为PG的空间数据库扩展POSTGIS远远强于MYSQL的my spatial而采用PGSQL的。四、PG 的“无锁定”特性非常突出，甚至包括 vacuum 这样的整理数据空间的操作，这个和PGSQL的MVCC实现有关系。五、PG 的可以使用函数和条件索引，这使得PG数据库的调优非常灵活，mysql就没有这个功能，条件索...

2017-08-01

574

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。