Hadoop HDFS概念学习系列之初步掌握HDFS的架构及原理4（四）

2017-11-12 528

HDFS 副本存放策略

namenode 如何选择在哪个 datanode 存储副本（replication）？这里需要对可靠性、写入带宽和读取带宽进行权衡。 Hadoop 对 datanode 存储副本有自己的副本策略，在其发展过程中一共有两个版本的副本策略，分别如下所示。

Hadoop 0.17之前的副本策略

第一个副本：存储在同机架的不同节点上。

第二个副本：存储在同机架的另外一个节点上。

第三个副本：存储在不同机架的另外一个节点。

其它副本：选择随机存储。

Hadoop 0.17 之后的副本策略

第一个副本：存储在同 Client 相同节点上。

第二个副本：存储在不同机架的节点上。

第三个副本：存储在第二个副本机架中的另外一个节点上。

其它副本：选择随机存储。

注意：比如，一个10M的数据文件，进来被切分很多个Block,每个Block都有3个副本。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5080357.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/371650

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop概念学习系列之大数据、Hadoop和云计算（十三）

我们知道，Hadoop最擅长的事情就是可以高效地处理海量规模的数据，这样Hadoop就和大数据及云计算结下了不解之缘。讲解Hadoop、大数据以及云计算之间的关系，使你从大数据和云计算的角度来认识Hadoop。大数据一般是指这样的数据:数据量巨大，需要运用新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用，大数据工程和大数据科学尚未被重视。大数据工程指大数据的规划建设及其运营管理的系统工程;大数据科学关注的是大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。大数据的特征有四个层面: 第一、数据量巨大。从TB级别，跃升到PB级别; 第二、数据类型繁多。包括网络fl志、视频、图片、地理位置信息等; 第三，价值密度低。商业价值高，以视频为例.在连续不间断的监控过程中，可能有用的数据仅仅只有一两秒; 第四、处理速度快。最后这一点也和传统的数据挖掘技术有着本质的不同。业界将其归纳为4V —— Volume、Vari...

2017-11-13

483

VMware View是全球首款针对桌面虚拟化的企业级解决方案，据Gartner 2010年4月针对全球使用桌面虚拟化数据分析VMware View市场占用率高达56%。VMware View已经在中国掀起了一股桌面虚拟化的热浪，VMware View虚拟桌面技术已经成为IT界的讨论的焦点。 VMware View架构： VMware View 5.2全新登场 VMware桌面虚拟化解决方案View于2013年3月份推出最新的View 5.2版本，经过之前具有革命性一代的View 4.5以及2012年9月份发布的View 5.1产品，VMware View 已经成为市场上知名度最高的桌面虚拟化产品，无论从其后台稳定性，管理简洁性还是用户体验都是企业桌面虚拟化领域最成熟的方案之一。 VMware View 建立在业界最广泛部署的虚拟平台VMware vSphere上，简化了IT管理与控制，同时为最终用户提供最高保真度的体验，无论采用的是WAN还是LAN连接。在View 5.0版本和View 5.1中改进了PCoIP协议，可将LAN和WAN的连接带宽降低达75%；对3D图形的高级支持；可...

2017-11-13

501

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。