基于Hadoop大数据分析应用场景与实战-低调大师

基于Hadoop大数据分析应用场景与实战

2017-09-26 458

为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了Hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。

一、Hadoop的应用业务分析

大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。

目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom：

Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。

Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复查询，此外还融合数据仓库，流处理和图形计算等多种计算范式。Spark构建在HDFS上，能与Hadoop很好的结合。它的RDD是一个很大的特点。

Storm用于处理高速、大型数据流的分布式实时计算系统。为Hadoop添加了可靠的实时数据处理功能

Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。

Hadoop适用于海量数据、离线数据和负责数据，应用场景如下：

场景1：数据分析，如京东海量日志分析，京东商品推荐，京东用户行为分析

场景2：离线计算，（异构计算+分布式计算）天文计算

场景3：海量数据存储，如京东的存储集群

基于京麦业务三个实用场景

京麦用户分析

京麦流量分析

京麦订单分析

都属于离线数据，决定采用Hadoop作为京麦数据类产品的数据计算引擎，后续会根据业务的发展，会增加Storm等流式计算的计算引擎，下图是京麦的北斗系统架构图：

(图一)京东北斗系统

二、浅谈Hadoop的基本原理

Hadoop分布式处理框架核心设计

HDFS ：(Hadoop Distributed File System)分布式文件系统

MapReduce：是一种计算模型及软件架构

2.1 HDFS

HDFS（Hadoop File System），是Hadoop的分布式文件存储系统。

将大文件分解为多个Block，每个Block保存多个副本。提供容错机制，副本丢失或者宕机时自动恢复。默认每个Block保存3个副本，64M为1个Block。将Block按照key-value映射到内存当中。

(图二)数据写入HDFS

(图三)HDFS读取数据

2.2 MapReduce

MapReduce是一个编程模型，封装了并行计算、容错、数据分布、负载均衡等细节问题。MapReduce实现最开始是映射map，将操作映射到集合中的每个文档，然后按照产生的键进行分组，并将产生的键值组成列表放到对应的键中。化简（reduce）则是把列表中的值化简成一个单值，这个值被返回，然后再次进行键分组，直到每个键的列表只有一个值为止。这样做的好处是可以在任务被分解后，可以通过大量机器进行并行计算，减少整个操作的时间。但如果你要我再通俗点介绍，那么，说白了，Mapreduce的原理就是一个分治算法。

算法：

MapReduce计划分三个阶段执行，即映射阶段，shuffle阶段，并减少阶段。

映射阶段：映射或映射器的工作是处理输入数据。一般输入数据是在文件或目录的形式，并且被存储在Hadoop的文件系统（HDFS）。输入文件被传递到由线映射器功能线路。映射器处理该数据，并创建数据的若干小块。

减少阶段：这个阶段是：Shuffle阶段和Reduce阶段的组合。减速器的工作是处理该来自映射器中的数据。处理之后，它产生一组新的输出，这将被存储在HDFS。

(图四)MapReduce

2.3 HIVE

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，这套SQL 简称HQL。使不熟悉mapreduce 的用户很方便的利用SQL 语言查询，汇总，分析数据。而mapreduce开发人员可以把己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析。

(图五)HIVE体系架构图

由上图可知，hadoop和mapreduce是hive架构的根基。Hive架构包括如下组件：CLI（command line interface）、JDBC/ODBC、Thrift Server、WEB GUI、metastore和Driver(Complier、Optimizer和Executor)。

三、Hadoop走过来的那些坑

进行HIVE操作的时候，HQL写的不当，容易造成数据倾斜，大致分为这么几类：空值数据倾斜、不同数据类型关联产生数据倾斜和Join的数据偏斜。只有理解了Hadoop的原理，熟练使用HQL，就会避免数据倾斜，提高查询效率。

本文转载自 linkedkeeper.com (文／王雷)

微信关注我们

原文链接：https://yq.aliyun.com/articles/218232

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

GTC大会上“省钱”不亦乐乎，阿里云GPU人脸识别实在好玩！

“我是科学家”、“我是治愈者(healer)”、“我是保护者”、“我是老师”等第一人称作为旁白，英伟达2017 GTC China（GPU技术大会中国分会）CEO黄仁勋（粉丝爱称“老黄”）主题演讲——带入感极强，老黄介绍了以英伟达GPU驱动的人工智能如何在数据、医疗健康、翻译、机器人、自动驾驶、教学等等领域进行应用。和5月的GTC相比，本次GTC China上推出的新品与宣布的合作案例大多集中在深度学习推理应用（Inference）领域。可以看得来，凭借着超高计算性能的GPU在深度学习训练（Training）领域赚得盆满钵满的英伟达，现在也想要朝应用端发力了。而9月在北京阿里云虚拟化的人工智能进化媒体沟通会开始，阿里云计算也是声音不断，在不断创新、智能，打造云生态的路上，越来越猛。本次参与GTC大会，也看到了实力所在。关于智能

2017-09-27

582

共享经济在近两年“如火如荼”地发展带来了商业模式上的创新，在瞬息万变的创业热点中如何占取先机？短、平、快地将自己的idea落地，来迅速实现一款轻量级的应用无疑是最佳方案。无服务器架构进一步降低了开发成本同时提高效率，那么如何能够迅速上手实践Serverless服务，用最低的代价来实现目前主流“共享经济”类型应用的基础架构呢？ 10.11日下午杭州云栖大会阿里云大学Clouder Lab专场，通过现场动手实验课的形式，教您如何利用阿里云函数计算、表格存储以及日志服务来搭建无服务器框架，实现“共享电单车”的主要应用场景。专场议程：云栖大会直达：http://yunqi.aliyun.com 场景预告：开锁时的参数校验，路程计算及增值服务；骑行过程中的状态监测，异常状态下的报警以及日志分析；以智能提醒，实时报警等为例，如何将表格存储收

2017-09-27

547

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。