Hadoop是怎么分块Block的?
hadoop的分块有两部分。 第一部分就是数据的划分(即把File划分成Block),这个是物理上真真实实的进行了划分,数据文件上传到HDFS里的时候,需要划分成一块一块,每块的大小由hadoop-default.xml里配置选项进行划分。 <property> <name>dfs.block.size</name> <value>67108864</value> <description>The default block size for new files.</description> </property> 这个就是默认的每个块64MB。数据划分的时候有冗余,个数是由以下配置指定的。 <property> <name>dfs.replication</name> <value>3</value> <description>Default block replication. The actual number ...