《Hadoop MapReduce实战手册》一2.7 设置文件冗余因子
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章,第2.7节,作者: 【美】Srinath Perera , Thilina Gunarathne 译者: 杨卓荦 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.7 设置文件冗余因子 Hadoop MapReduce实战手册HDFS跨集群存储文件时,会把文件切分成粗粒度的、大小固定的块。出于容错的目的,这些粗粒度的数据块会被复制到不同的DataNode中。数据块的冗余有助于增加数据本地化MapReduce计算的能力,同时也可以增加总的数据访问带宽。减少冗余因子则有助于节省HDFS上的存储空间。 HDFS冗余因子(HDFS replication factor)是文件级属性,可以基于每个文件进行单独配置。本节将展示如何通过改变HDFS部署的默认冗余因子来影响以后创建的新文件,如何在创建HDFS文件的时候指定自定义冗余因子,以及如何改变现有的HDFS文件的冗余因子。 操作步骤 要使用NameNode的配置文件来设置文件的冗余因子,需要添加或修改`javascript$HADOOP_HOM...