当你学会炒菜的时候，你就学会了大数据-低调大师

当你学会炒菜的时候，你就学会了大数据

2017-06-19 463

最近在学习数仓跟BI，突然发现，结合自己所学会抄的菜。试着把学过的大数据重新理解一番，希望各位都能来一起讨论，共同进步。

走进厨房
走进厨房后，相信大家会看到各种锅碗瓢盆，案板，切菜刀，调料，橱柜，水池...........而这些就相当于是大数据的架构。

其中橱柜，相当于是Hadoop。橱柜可以储存各种食材，而Hadoop可以存储各种不同类的数据（结构化与非结构化）。而橱柜可以存放不同食材，比如不规整的豆腐块，大冬瓜，土豆....还有一些规整的食材，比如大米，小米，绿豆........规整的食材与不规整的食材的区别，各家有各家不同的规定，而一般的规定就是规格的食材要用袋子把它们装起来。这里就相当于是大数据里的数据整理流程。而这些半规整的食材要放到一个个小袋子里，比如说，淀粉,姜粉，蒜泥.....用袋子或者盒子把它们装好，放在相应橱柜的地方，就相当于我们大数据里说的ETL（抽取，封装，加载），以备后用。
而不同厂家的橱柜又会有不同的格子划分及存储区，比如：欧派，宜家的橱柜就会划分出很多小的分区来装不同的东西。而这一块就相当于HBase,灶台下边有专门用于凉碗的，还有抽油烟机旁边专门用于放刀具的区域，还有专门用于放各种锅的区域。而当HBase划分的好的时候，就对上层的MapReduce有很大的帮助，因为你各个区域规划的越好，当你开始炒菜的时候，取用各种餐具的时候就会更加的得心用手。
至于上边的Mahout,Pig,Hive就相当于你如何在橱柜中找到你相应的食材的过程，比如说，你要抄西红柿鸡蛋，你要找鸡蛋跟西红柿...........再往上走就是一个对厨房的整体管理了。你做过的哪些菜，或者你想按照某个食谱来做菜，你就要有一个本子写上你每次做菜的步骤，这个就相当于是FlumeL,而Sqoop就相当于萝卜擦，你想吃萝卜丝，你就要用工具把萝卜切成丝才可以，这里，用刀具可以，用萝卜擦会更高效。
再来说说Zookeeper吧！它就相当于把你经常用的几项工具放到离你做菜最近的一个橱柜中。方便管理这些工具。

好了，说完了Hadoop,再来说一说Spark.它跟橱柜的唯一不同就是：橱柜是给你全部安装固定好了的，而Spark这种橱柜是可以移动的橱柜，同时对于你经常用的工具，可以进行优先排序。让你更快的对食材进行加工。刚开始，你做完一道菜，要半个小时多，而当你熟练之后，加之Spark移动橱柜+优先推送食材（内存计算+可迭代算法），你可以在5分钟内就做完这道菜。

加工食材

实际上，我们食材的储存过程就相当于是一个数仓的建立过程，而在一个数仓的建立过程中。最重要的莫过于区分不同维度。比如在大数据里的Key+Value,Big list,实际上都是提供一种基于可扩展的列值存储。而在数据可视化中，数据多维分维里，也是强调数据的不同维度的区分。这里我们就以食材的区分为例来说明。
首先，厨房里的食材维度可以大致分析：蔬菜维度，禽肉维度，米面维度............不同的维度决定了你对食物的理解程度，比如：你可以把糯米放在米面维度，也可以放在糕点维度。所以数据的不同维度也取决于你对食材的功能及使用场景。再比如：把你香茹切的很小，晒干，然后碾成粉，要这些香茹粉就会从蔬菜维度进入到调料维度。
当我们明白了食材维度的这个概念之后，我们就要开始我们的加工了。是先抄，还是先炸，还是先热水汤一下，都是对食材的一种加工。这里就相当于对初始数据进行相应的整形。由于要用到不同的厨具，就涉及到前边讲的走进厨房的细节的。在大数据里，可以用不同的组件对原始数据进行处理。而在厨房，可以用不同的厨具对食材进行处理。比如：蒸馒头，可以用抄锅来蒸，同时可以用钢精锅来蒸。虽然都能达到能吃的地步。但是所用的时间及口感不同。这些也就相当于大数据里各种不同组件之间的动行效果。

最后，先感谢下我现在的公司，每个月不定期给我们发菜，同时也感谢下老婆，教会了我抄各种菜。最后，附一张我抄好的菜吧（先给它起一个响亮的名字：乱棍打死猪八戒！

）！敬请期待下一次的技术普及课：如何上菜？数据可视化流程

微信关注我们

原文链接：https://yq.aliyun.com/articles/106674

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute

随着公司业务的增多，云数据库 RDS 下的 MySQL 数据库的表越来越多，想要把它全部迁移到 MaxCompute 中进行计算分析，但又愁要配置太多次同步任务。如何能将大量的数据表一次性上传到 MaxCompute 中呢？通过大数据开发套件的整库迁移功能，便可快速完成 MySQL 数据整库迁移到 MaxCompute，从而节省同步时间，提高工作效率。下面介绍一个适用于中小企业用户，高效率低成本的数据同步方案：对于自建或云数据库 RDS 的 MySQL 数据库中的数据，都可以通过整库迁移功能，快速同步到 MaxCompute 中进行存储与分析，流程图如下：云数据库 RDS ：RDS 是一种稳定可靠、可弹性伸缩的在线数据库服务，本实验主要使用云数据库 MySQL 版。 MaxCompute：原名 ODPS，是由阿里云自主研发的一款服

2017-06-20

659

前言时间回到2011年，Hadoop作为新生事物，在阿里巴巴已经玩得风生水起，上千台规模的”云梯”是当时国内名声显赫的计算平台。这一年，Hadoop的好兄弟HBase由毕玄大师带入淘宝，开启了它的阿里之旅。从最初的淘宝历史交易记录，到去年的支付宝消费记录存储在线历史存储统一；从蚂蚁安全风控的多年存储演进，到HBase、TT、Galaxy的大数据激情迭代；HBase在阿里经历过年轻的苦涩，释放过青春的活力，也付出过成长的代价。几代人的不懈努力下，五年陈的HBase开始表现出更成熟、更完善、更丰富的一面，成为公司内部被广泛使用的存储产品之一。经过阿里集团内部的锤炼，集团将这个技术红利输送给广大阿里云客户。现已推出云数据库HBase产品，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景。本篇会系统性的阐述HBase的定位、建设

2017-06-20

634

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。