使用E-MapReduce提交Storm作业处理Kafka数据

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群，并运行Storm作业消费Kafka数据。

环境准备

本文选择在杭州Region进行测试，版本选择EMR-3.8.0，本次测试需要的组件版本有：

• Kafka：2.11_1.0.0
• Storm: 1.0.1

本文使用阿里云EMR服务自动化搭建Kafka集群，详细过程请参考创建集群。

• 创建Hadoop集群
  
  

• 创建Kafka集群
  
  
  说明

  • 如果使用经典网络，请注意将Hadoop集群和Kafka集群放置在同一个安全组下面，这样可以省去配置安全组，避免网络不通的问题。
  • 如果使用VPC网络，请注意将Hadoop集群和Kafka集群放置在同一个VPC/VSwitch以及安全组下面，这样同样省去配置网路和安全组，避免网络不通。
  • 如果你熟悉ECS的网络和安全组，可以按需配置。

• 配置Storm环境
  如果我们想