《Hadoop实战第2版》——1.3节Hadoop体系结构-低调大师

《Hadoop实战第2版》——1.3节Hadoop体系结构

2017-07-31 514

1.3　Hadoop体系结构
如上文所说，HDFS和MapReduce是Hadoop的两大核心。而整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持的，并且它会通过MapReduce来实现分布式并行任务处理的程序支持。
下面首先介绍HDFS的体系结构。HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看，文件被分成若干个数据块，而且这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间操作，比如打开、关闭、重命名文件或目录等，它也负责数据块到具体

微信关注我们

原文链接：https://yq.aliyun.com/articles/173938

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

五个角度浅析大数据与BI的区别

BI(Business Intelligence)，中文翻译是商务智能，是一套完整的解决方案，用来将组织中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助组织做出明智的业务经营决策。大数据(Big Data)是从收集的海量数据中，通过算法将这些来自不同渠道、格式的数据进行直接分析，从中寻找到数据之间的相关性。简单而言，大数据更偏重于发现，以及猜测并印证的循环逼近过程。不管定义如何不同，大数据与传统BI是社会发展到不同阶段的产物，我们从几下几个纬度来可以迅速的看出两者的区别：第一、从数据来源角度大数据应用的数据来源，不仅仅包括非结构化的数据，还有各种系统数据，数据库数据。其中非结构化数据主要是集中在互联网以及一些社交网站上的数据以及一些机器设备的数据，这些都构成了大数据应用的数据来源。对于大数据的分析工具来说，现阶段也是对于非结构化的数据分析的比较多。 BI系统则是在数据集成方面的技术越来越成熟，对于数据的提取，一个各种数据挖掘的要求来说，数据集成平台会帮助企业实现数据的流通和交互使用，在企业内部实施BI应用就是为了可以更好的对数据进行分享和使用。第二、从思维方...

2017-08-01

466

2013年5月10日，在淘宝十周年晚会-马云退休演讲中，马云说：这是一个变化的时代。还有人没搞清楚PC，移动互联网来了;还没搞清楚移动互联网，大数据来了。而变化的时代是年轻人的时代。马云说的这句话很关键，他不仅提到了大数据，而且更是用一句话阐述了互联网从PC时代，进化到移动互联网时代，然后从移动互联网时代进阶到了大数据时代。有几个关键点很重要：PC时代，全球催生了大量的互联网上市企业，包括谷歌、亚马逊、新浪、搜狐、新东方等等; 移动互联网时代，中国创业热潮风生水起，不仅有大量的移动互联网(包括手游)企业赴美上市，更是诞生了无数个创业奇迹。移动互联网不仅为我们的生活带来了便利，更是把创业热潮推向了历史最高峰。现在问题来了，大数据时代，创业热潮是不是应该比移动互联网时代更加热闹呢?大数据时代如何创业?大数据创业的门槛又有哪些呢? 先回答第一个问题：大数据时代，创业热潮是不是应该比移动互联网时代更加热闹呢? 据我了解，不是。走在中关村创业大街上，你能收到的100份融资BP里，可能有99份都是APP和O2O项目，但99家里90%以上会重视大数据。那么大数据时代如何创业呢?请先了解一下大数...

2017-08-01

304

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。