数据采集

所有的大数据分析系统都基于一个前提，即数据需要采集进入大数据系统。为最大化利用您现有的流式存储系统，阿里云实时计算 Flink对接了多种上游的流式存储，让您可以不用进行数据采集、数据集成，即可享受现有的数据流式存储。

阿里云实时计算 Flink支持(即将支持)上述若干个数据存储系统，针对上述不同的流式存储，需要用户使用不同的数据集成工具进行数据采集，实时计算对接的有:

• DataHub

  DataHub提供了多类数据(包括日志、数据库BinLog、IoT数据流等等)从数据源头上传到DataHub的工具、界面，以及和一些开源、商业软件的集成。查看DataHub相关介绍文档，即可获取丰富多样的数据采集工具。

• 日志服务(Log Service)

  Log Service是针对日志类数据一站式服务，在阿里巴巴集团经历大量大数据场景锤炼而成。日志服务提供了诸多的针对日志的采集、消费、投递、查询分析等功能。

  查看Log Service有关数据采集一章，了解如何使用日志进行流式数据消费。

• 物联网套件(IoT Hub)

  物联网套件是阿里云专门为物联网领域的开发人员推出的，其目的是帮助开发者搭建安全性能强大的数据通道，方便终端（如传感器、执行器、嵌入式设备或智能家电等等）和云端的双向通信。

  使用IoT Hub规则引擎可以将IoT数据方便投递到DataHub，并利用实时计算进行数据加工计算。查看IoT规则引擎使用以查看如何将IoT数据推送到DataHub。

• 数据传输(DTS)

  DTS支持以数据库为核心的结构化存储产品之间的数据传输。 DTS是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。使用DTS的数据传输功能，可以方便的将RDS等BinLog解析并投递到DataHub，并利用实时计算进行数据加工。

  当前DTS传输到DataHub功能已经上线，欢迎使用。具体文档请您查看RDS到DataHub数据实时同步。

• MQ

  阿里云MQ服务是企业级互联网架构的核心产品，基于高可用分布式集群技术，搭建了包括发布订阅、消息轨迹、资源统计、定时（延时）、监控报警等一套完整的消息云服务。