logstash将Kafka中的日志数据订阅到HDFS
前言:通常情况下,我们将Kafka的日志数据通过logstash订阅输出到ES,然后用Kibana来做可视化分析,这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析,通常比较常用的是实时分析,日志存个十天半个月都会删掉。那么在一些情况下,我需要将日志数据也存一份到我HDFS,积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中的数据订阅一份到hdfs。 一:安装logstash(下载tar包安装也行,我直接yum装了) #yuminstalllogstash-2.1.1 二:从github上克隆代码 #gitclonehttps://github.com/heqin5136/logstash-output-webhdfs-discontinued.git #ls logstash-output-webhdfs-discontinued 三:安装logstash-output-webhdfs插件 #cdlogstash-output-webhdfs-discontinued logstash的bin目录下有个plug...


