Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析

Logstash是一款开源日志收集处理框架，有各种不同的input、filter、output插件，用户使用这些插件可以将各种数据源导入到其他系统。
logstash-output-datahub插件，实现将数据导入DataHub的功能，通过简单的配置即可完成数据采集和向DataHub的传输任务。
结合StreamCompute(Galaxy)用户可以方便的完成流式数据从采集，传输，开发到结果数据存储与展示的整套解决方案。
同时，还可以通过创建Collector同步任务将数据同步到MaxCompute(ODPS),之后在MaxCompute上进行完备的数据开发工作。

接下来，会将各个流程步骤在文章中作详细描述，以帮助用户使用Logstash＋DataHub＋StreamCompute/MaxCompute快速构建起自己的流式数据应用。

数据