hadoop fsck健康检查-低调大师

hadoop fsck健康检查

2012-12-06 1372

昨天下午的时候检查生产环境的hadoop集群时，发现异常情况如下图：

简要的说明上图的意思，说明有这些文件没有满足副本份数，我副本份数设置的为2份，刚刚起初以为是这个文件只有一个副本了，结果去每台datanode上面去find第一个上图报的block文件时，每台datanode上都有这个block文件，当时真的是奇了怪了，副本是2（我指的是hdfs-site.xml文件里面设置的），每个datanode上都有这个block文件，我的是三个datanode加起来应该是3份，这个数肯定大于默认的副本数，所以应该也不是报副本份数啊！纠结中！

经过一番的查询资料，看到这篇博客对我的启发很大，地址我引用一下，博主别见怪啊！

http://blog.chinaunix.net/uid-1838361-id-2981460.html

里面说到一句话让我尝试了一下

结果我查看了一下我的第一个报的block文件，看看文件的副本数是多少？

hadoop/bin/hadoop fs -ls /tmp/hadoop-hadoop/mapred/staging/hadoop/.staging/job_201207161728_0015/job.jar
Warning: $HADOOP_HOME is deprecated.

Found 1 items
-rw-r--r-- 10 hadoop supergroup 3110243 2012-08-17 09:23 /tmp/hadoop-hadoop/mapred/staging/hadoop/.staging/job_201207161728_0015/job.jar

上述的红色字段我已标记出，看来问题出在这里了，我按照如下方法把它设置副本数为3

[hadoop@master ~]$ hadoop/bin/hadoop fs -setrep -R 3 /tmp/hadoop-hadoop/mapred/staging/hadoop/.staging/job_201207161728_0015/job.jar
说明一下上述的命令的意思，3就是副本份数，后面就是hdfs目录的路径，这样就说明把这个目录下的所有文件的副本份数都设置为了3。

再用hadoop/bin/hadoop fsck /查看一下，上述截图的第一个块文件未满足副本份数提示就消失了，依次操作，将所有的文件的份数都设置为3后，最后我们在fsck一下，得到的是下图：

这样就是一个说明集群检查一切正常了！通过上述解决手段，我也大致推理出了fsck的检查工作原理：

它会去检查hdfs文件系统上所有文件的副本份数，然后去和所有datanode节点上的副本块的总数进行比较。不知道推理的对不对，希望知道原理的朋友别吐槽！另外如果你用命令行设置了副本数，再重启hadoop集群的话，那么副本数还是以你设置的hdfs-site.xml文件里面值为准！

在这里我做个小实验，看看效果如何？

过程我就不截图了，说说结果吧！

1、首先我在本地新建一个文件，然后把文件上传到hdfs上。

2、在所有的datanode上找了只有两份副本，因为我hdfs-site.xml文件里面设置的为2。

3、查看hdfs上的文件，副本数的数也为2。

4、将datanode上有副本的文件复制到本节点其余的subdir*目录下，block块文件是4份。

5、我再用fsck查看，仍然没有报有超出的副本文件。

这里我说一下大致原因，当上传一个文件到hdfs文件系统时，它应该有一些相关的信息对应了datanode上的block块文件，因此不会去寻找别的subdir*目录，所以fsck时不会报超出副本的文件。

最后说一下这个hadoop/bin/hadoop fsck /输出的一些信息的大致意思，仅供参考：

Over-replicated blocks: 0 (0.0 %) 副本数高出设定默认复制级别参数的数据块文件所占比率

Under-replicated blocks: 0 (0.0 %) 副本数低于设定默认复制级别参数的数据块文件所占比率
Mis-replicated blocks: 0 (0.0 %) 丢失的副本块文件所占比率

Default replication factor: 2 副本份数
Average block replication: 2.658721 实际平均副本数

Corrupt blocks:                0           损坏的block数
Missing replicas:              0 (0.0 %)   丢失的副本数
Number of data-nodes:          3           数据节点数
Number of racks:               1           机架数，如果没配置机架，默认都是1
FSCK ended at Fri Dec 07 10:18:18 CST 2012 in 113 milliseconds

The filesystem under path '/' is HEALTHY 检测文件系统正常

微信关注我们

原文链接：https://yq.aliyun.com/articles/578595

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2012年低年级编程大赛解题报告

第一题谁能受到女神的垂怜之第一轮光棍节过了，光棍们为了不想再过明年的光棍节，准备组队去向女神求爱。女神面对一群光棍，准备进行一次筛选，筛选的条件就是看谁的运气比较好，自古运气就是实力的一部分嘛。女神首先会给每个光棍编号（编号从0开始），但是光棍不知道，然后，女神要求光棍们给自己送随意数量的玫瑰，玫瑰数量由光棍们自己决定，可以不送，然后女神会数每个光棍送上来的玫瑰数，当光棍送给女神的玫瑰数量和女神给光棍的编号一样时，那么他就通过了女神第一轮的考验。现在，告诉你女神总共收到的玫瑰数，同时告诉你每个玫瑰分别是谁送的，请找出能进入女神考验第二轮的幸运小光棍~ Input 输入包含多组数据，每组数据的第一行输入一个N，表示女神共收到N朵玫瑰，之后第二行输入N个数字，第i个数字表示第i朵玫瑰是谁送的。（0<=N<=100,0<= a[i] <=10^9,a[i]表示第i个数）； Output 对于每组输入数据，输出通过第一轮筛选的幸运小光棍的编号，编号从小到大的顺序输出，每两个数中间有一个空格。每两组输出数据之间有一个空行。 Sample Input 7 0 1...

2012-11-29

823

1.2. Quick Start Loopback IP /etc/hosts should look something like this: vi /etc/hosts 127.0.0.1 localhost 127.0.0.1 ubuntu.ubuntu-domain ubuntu 1.2.1. Download and unpack the latest stable release.（下载和解压稳定版本） $ tar xfvz hbase-0.94.3-security.tar.gz $ cd hbase-0.94.3-security 安装之前，编辑 conf/hbase-site.xml.其中hbase.rootdir，是Hbase写数据的目录其中hbase.zookeeper.property.dataDir，是ZooKeeper写数据的目录 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> hbase.rootdir /...

2012-12-12

851

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。