阿里云EMR产品介绍及常见问题解答

一、大数据概述

二、视频大客户对于数据中心的需求

三、传统大数据技术演进

四、EMR介绍

五、为什么选择EMR

弹性动态伸缩

    基于ECS之上，快捷的扩容、缩容EMR Hadoop集群。

灵活软件栈选择

灵活、快速部署开源大数据服务(HBase、Kafka、Impala、Flink等)。

数据存储成本低

D1机型使用本地盘，价格远低于云盘；OSS低成本存储冷数据。

运维机制

钉钉群支持，快速解决集群使用问题。减少运维工作，更专注于业务。

六、典型问题及解决方案

数据迁移问题

Hive，HBase数据库结构同步，HDFS数据PB级历史数据同步。如何保证线上实时任务不受影响？

元数据库同步：Hadoop distcp filter (Hadoop 2.8之后支持)。Flume配置双写，多个sink。

数据倾斜问题

现象：MapReduce任务卡在最后一个或几个Re