附录E 安装Kafka
E.1安装Kafka E.1.1下载Kafka Kafka是由LinkedIn设计的一个高吞吐量、分布式、基于发布订阅模式的消息系统,使用Scala编写,它以可水平扩展、可靠性、异步通信和高吞吐率等特性而被广泛使用。目前越来越多的开源分布式处理系统都支持与Kafka集成,其中Spark Streaming作为后端流引擎配合Kafka作为前端消息系统正成为当前流处理系统的主流架构之一。 Kafka安装包可以在其官网下载页面下载,下载地址如下,为加快下载速度可以选择中国境内的镜像,选择稳定版本kafka_2.11-0.9.0.1.tgz安装包。 http://kafka.apache.org/downloads.html E.1.2解压并配置环境变量 下载后把安装包方放在目录/home/spark/work目录下,用下面命令解压缩Kafka安装包,并把解压后的目录移动到/app/soft目录下: $cd /home/spark/work/ $tar -zxf kafka_2.11-0.9.0.1.tgz $mv kafka-0.9.0.1 /app/soft $ll /app/soft 为...


