Hadoop HDFS概念学习系列之初步掌握HDFS的架构及原理4（四）

2017-11-12 547

HDFS 副本存放策略

namenode 如何选择在哪个 datanode 存储副本（replication）？这里需要对可靠性、写入带宽和读取带宽进行权衡。 Hadoop 对 datanode 存储副本有自己的副本策略，在其发展过程中一共有两个版本的副本策略，分别如下所示。

Hadoop 0.17之前的副本策略

第一个副本：存储在同机架的不同节点上。

第二个副本：存储在同机架的另外一个节点上。

第三个副本：存储在不同机架的另外一个节点。

其它副本：选择随机存储。

Hadoop 0.17 之后的副本策略

第一个副本：存储在同 Client 相同节点上。

第二个副本：存储在不同机架的节点上。

第三个副本：存储在第二个副本机架中的另外一个节点上。

其它副本：选择随机存储。

注意：比如，一个10M的数据文件，进来被切分很多个Block,每个Block都有3个副本。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5080357.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/371650

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop概念学习系列之大数据、Hadoop和云计算（十三）

我们知道，Hadoop最擅长的事情就是可以高效地处理海量规模的数据，这样Hadoop就和大数据及云计算结下了不解之缘。讲解Hadoop、大数据以及云计算之间的关系，使你从大数据和云计算的角度来认识Hadoop。大数据一般是指这样的数据:数据量巨大，需要运用新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用，大数据工程和大数据科学尚未被重视。大数据工程指大数据的规划建设及其运营管理的系统工程;大数据科学关注的是大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。大数据的特征有四个层面: 第一、数据量巨大。从TB级别，跃升到PB级别; 第二、数据类型繁多。包括网络fl志、视频、图片、地理位置信息等; 第三，价值密度低。商业价值高，以视频为例.在连续不间断的监控过程中，可能有用的数据仅仅只有一两秒; 第四、处理速度快。最后这一点也和传统的数据挖掘技术有着本质的不同。业界将其归纳为4V —— Volume、Vari...

2017-11-13

505

VMware View是全球首款针对桌面虚拟化的企业级解决方案，据Gartner 2010年4月针对全球使用桌面虚拟化数据分析VMware View市场占用率高达56%。VMware View已经在中国掀起了一股桌面虚拟化的热浪，VMware View虚拟桌面技术已经成为IT界的讨论的焦点。 VMware View架构： VMware View 5.2全新登场 VMware桌面虚拟化解决方案View于2013年3月份推出最新的View 5.2版本，经过之前具有革命性一代的View 4.5以及2012年9月份发布的View 5.1产品，VMware View 已经成为市场上知名度最高的桌面虚拟化产品，无论从其后台稳定性，管理简洁性还是用户体验都是企业桌面虚拟化领域最成熟的方案之一。 VMware View 建立在业界最广泛部署的虚拟平台VMware vSphere上，简化了IT管理与控制，同时为最终用户提供最高保真度的体验，无论采用的是WAN还是LAN连接。在View 5.0版本和View 5.1中改进了PCoIP协议，可将LAN和WAN的连接带宽降低达75%；对3D图形的高级支持；可...

2017-11-13

517

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。