概述

kafka是一个开源社区常用的消息队列，虽然kafka官方（Confluent公司）提供插件从Kafka直接导入数据到HDFS的connector，但对阿里云对文件存储系统OSS却没有官方的支持。本文会举一个简单的例子，实现kafka的数据写入阿里云OSS。因为阿里云E-MapReduce服务集成了大量开源组件和阿里云产品的对接工具，所以本文直接在E-MapReduce集群上运行这个例子。

这个例子使用开源的Flume工具作为中转，将kafka和OSS连接起来。Flume开源组件将来也可能出现在E-MapReduce平台上。

场景举例

下面举一个最简单的例子，如果已经有一个线上的Kafka集群，则可以直接跳到第4步。

在Kafka Home目录下启动Kafka服务进程，配置文件中Zookeeper的地址配置为E-MapReduce自带

微信关注我们

原文链接：https://yq.aliyun.com/articles/65307

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-12-05 00:00:00

盘点:阿里云云服务器的优势表现在哪些方面

阿里云：云服务器的优势 1.安全稳定，数据可靠在无地震等重大自然灾害下，云服务器数据可靠性可达99.999%，让您的数据安全无忧！数据安全：采用大规模分布式计算系统，每份数据多个副本；单份损坏可以在短时间内快速恢复，保证数据安全。网络安全：安全组间自带防火墙；可杜绝ARP攻击和MAC欺骗；有效防护DDoS攻击,可进行端口入侵扫描，挂马扫描，漏洞扫描等。系统稳定：在线服务可用性高达99.95%，支持云服务器故障自动迁移，恢复速度快，云服务器信息不变（IP信息、磁盘等）。 2.性能卓越，弹性伸缩采用绿色节能多线路BGP机房，中国电信、网通、教育网等多线接入，保证全国用户高速访问。多线路独享带宽：千兆光纤，一个月最低至23元/Mbps业内最低价扩容带宽，独享带宽有效解决带宽瓶颈,性价比远高于传统带宽共享。灵活扩容：计算资源可弹性伸缩；可以按需变更服务器的配置。云服务器支持套餐升级、带宽灵活按天升级（无需停机）等，随时满足您的业务发展需求。 3.节约成本，简单易用支持多种主流操作系统，让您以服务的方式使用计算及存储资源，按需取用，按需付费，无需购买大量设备，相比于传统主机投入成...

550

2016-12-05 00:00:00

如何做好自动化测试，揭秘阿里巴巴分层自动化实践之路

自动化测试是软件测试技术上的一大进步，我们都知道自动化测试可以给工作提效，减少重复劳动，但在实践过程中，却总是碰到各种各样的问题，导致进入自动化测试盲区。如何做好自动化测试，是很多企业迫切想要解决的问题。阿里巴巴旗下一站式研发提效平台——云效，将于12月8日16:00开启《阿里巴巴持续集成持续交付之分层自动化》直播分享，为企业提供自动化测试解决方案。今天我们先来看看阿里巴巴嘉宾的部分解读。嘉宾介绍：金桐：阿里巴巴B2B事业群高级产品经理。从事多年互联网系统的研发和测试工作。现在主要负责云效分层自动化测试的产品设计。自动化测试所谓自动化测试，就是用程序模拟用户手工操作的一种测试方法，能够帮助测试人员从重复、枯燥的手工测试中解放出来。但在自动化实践过程中，测试人员往往发现理想和现实之间差距很大。上图不难看出，阿里该部门这一周的自动化失

603

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

使用E-MapReduce服务将Kafka数据导入OSS

概述