大数据上云那些事儿：（一）上云工具的选择

2017-06-21 770

阿里云•数加上如果要实现大数据上云，可选的工具有以下几种（如下图所示），主要分为批量加载工具和实时采集工具两大类。工具这么多，那么我应该选择哪一个呢？

首先第一就是确定您的业务场景对实时性的要求。
a) 如果是实时性要求不高，则采用批量加载类工具，定时完成批量数据加载即可。比如离线数仓，离线BI数据分析等场景。
b) 如果对实时性要求很高，数据一产生就需要即时看到分析结果，则采用实时采集类工具。如实时监控，实时分析，实时大屏等场景。
不过也有例外，在某些离线场景下有时候也会采用实时采集工具来完成数据上云。比如每天都有海量数据（可能TB级别甚至更多）需要同步，批量定时同步的话同步时间过长，无法满足业务要求，此时可以考虑采用实时采集工具来完成数据上云，以满足对同步时间的要求。

离线工具适用场景说明：

数据集成（DI）是数加提供的官方同步工具，分为界面向导模式和脚本模式两种开发模式。如果您是离线数据加工场景，那么优先推荐选择它。它可以完成阿里云云上数据到MaxCompute的大部分离线场景。比如常见的：
a) 从RDS/DRDS同步到MaxCompute

b) 从ECS（自建MySQL/Oracle等）同步到MaxCompute
c) 从ECS（文件）同步到MaxCompute
d) 从OSS/OTS等阿里云产品同步到MaxComdpute
e) 数据在IDC机房，并且企业已经搭建阿里云物理专线连接，此时可以通过数据集成（DI）自定义调度资源的方式完成数据上云。
注：以上均为举例，不一定覆盖所有情况，DI支持的数据源请参考：https://help.aliyun.com/document_detail/53008.html

DataX（开源）阿里开源的离线数据同步工具，可以理解它是数据集成（DI）的单机版实现，它与数据集成（DI）所支持的数据源是基本相同的。但有些时候因为网络、安全或者自定义需求等情况，无法用数据集成（DI）来完成企业的需求，此时可以考虑使用DataX来完成。比如：
a) 数据在本地IDC机房，IDC的机器无法添加为数据集成（DI）的执行Agent

b) 企业期望对同步任务资源占用有完全的控制权（包括但不限于内存占用量、完全掌控同步流控等）；
c) 企业具有一定的系统运维能力，期待脚本化、定制化的数据上云策略。比如本地环境已有任务调度系统，期待使用此调度系统触发执行同步作业；
d) 数据上云是临时性的、一次性的操作；

DI On Hadoop适用于企业已有Hadoop集群，且对数据同步性能有很高的要求，此时用DI On Hadoop工具来完成数据上云。它可以充分的利用现有Hadoop 集群的能力，来快速完成从Hadoop 到 MaxCompute的数据迁移或上云。但它对网络情况也有一定要求，它要求Hadoop集群的机器必须可以通过公网或者专线的方式，能过连通MaxCompute。
MaxCompute客户端中有Tunnel 命令，它适用于原始数据存在在文件，临时或一次性上传一些数据到MaxCompute。
Tunnel SDK ：在上述工具均无法满足需求时，可以通过自己调用Tunnel SDK实现更加灵活自由的数据上传需求。比如：
a) 数据下载过程中，需要根据数据内容不同，分发到不同的数据库或分库分表。

实时采集工具适用场景说明：

Logstash / Flume / Flunted 为3个开源的数据采集工具，阿里云分别为其提供了写入DataHub的插件，可以实现数据采集后输出到DataHub。适用于大部分文件类数据采集类需求，如行为日志，系统日志等。选择这3个，主要取决于用户自己的技术倾向。
Logstash 为JRuby开发，Flume为Java开发，Flunted为Ruby开发。三者性能上来看Flunted略差，Logstash和Flume应该说不分仲伯吧，暂无明确数据对比。
Log Service（日志服务）是阿里云提供的针对日志类数据的一站式服务，它可以完成采集日志信息，并将其投递给各种下游产品，其中就包括Stream Compute 和 MaxCompute。它与Logstash / Flume / Flunted 所完成的场景类似，选择哪个主要取决于客户的使用习惯或技术倾向，暂无比较明显的区别。
DTS（数据传输服务）是阿里云提供的云上数据的实时传输服务，适用于采集RDS（MySQL）的实时更新数据，并将其传输给DataHub或MaxCompute。如果你有云上RDS（MySQL）数据需要上传到大数据平台，那么可以选择它。不过它采集的是binlog信息，到MaxCompute后还需对数据做合并和预处理。
OGG（Oracle GoldenGate）主要适用于源库为Oracle，可以通过其采集实时更新数据到DataHub中。一般在公共云上比较少见，但在专有云即线下机房比较常见。

整理各个工具的官网及使用说明供大家参考：

数据集成（DI）官网：https://www.aliyun.com/product/cdp
使用文档：https://help.aliyun.com/document_detail/47677.html
DataX源码：https://github.com/alibaba/DataX
快速开始：https://github.com/alibaba/DataX/wiki/Quick-Start

各个数据源配置：https://github.com/alibaba/DataX/wiki/DataX-all-data-channels

DI On Hadoop 暂无，目前还未完全开放。
MaxCompute 客户端安装：https://help.aliyun.com/document_detail/27971.html
Tunnel命令说明：https://help.aliyun.com/document_detail/27833.html
Tunnel SDK 使用说明：https://help.aliyun.com/document_detail/27837.html
Tunnel SDK 上传下载示例：https://help.aliyun.com/document_detail/27842.html
Logstash 官网帮助文档：https://www.elastic.co/guide/en/logstash/2.3/index.html
阿里云Logstash教程文档：https://help.aliyun.com/document_detail/47451.html
Flume 插件开源网站：https://github.com/aliyun/aliyun-maxcompute-data-collectors/tree/master/flume-plugin
Flunted 官方文档http://docs.fluentd.org/v0.12/articles/quickstart
阿里云Flunted教程文档：https://help.aliyun.com/document_detail/47450.html
Log Service 官网：https://www.aliyun.com/product/sls
Log Service 数据采集：https://help.aliyun.com/document_detail/28981.html

Log Service 投递 MaxCompute：https://help.aliyun.com/document_detail/29001.html
Log Service StreamCompute实时消费：https://help.aliyun.com/document_detail/47334.html

DTS 官网：https://www.aliyun.com/product/dts
DTS 采集到MaxCompute：https://help.aliyun.com/document_detail/44547.html

DTS 采集到Datahub：https://help.aliyun.com/document_detail/45214.html

OGG 阿里云使用教程：https://help.aliyun.com/document_detail/47452.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/108600

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase学习之五:HBase的RowKey设计原则

Hbase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对hbase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：通过get方式，指定rowkey获取唯一一条记录通过scan方式，设置startRow和stopRow参数进行范围匹配全表扫描，即直接扫描整张表中所有行记录 rowkey长度原则 rowkey是一个二进制码流，可以是任意字符串，最大长度64kb，实际应用中一般为10-100bytes，以byte[]形式保存，一般设计成定长。建议越短越好，不要超过16个字节，原因如下：数据的持久化文件HFile中是按照KeyValue存储的，如果rowkey过长，比如超过100字节，1000w行数据，光rowkey就要占用100*1000w=10亿个字节，将近1G数据，这样会极大影响HFile的存储效率； MemStore将缓存部分数据到内存，如果rowkey字段过长，内存的有效利用率就会降低，系统不能缓存...

2017-06-21

587

MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。由于MaxCompute是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，MaxCompute不支持对数据的Update和Delete，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用INSERTINTO...VALUES添加数据，使用UPDATE...SET修改数据。但是随着云计算和大数据的发展越来越多的传统系统需要云化，这其中必然涉及到数据的增删改查，如何根据MaxCompute的特点实现相应的功能是不能回避的，以下就是本人在上云实践中的一些解决办法。准备工作，先创建一张测试数据表ODS_A； CREATE

2017-06-22

716

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。