记得看过一本书，里面是这么写的，软件开发中的二八原则，80%的时间运行的是正常流程，20%的时间是异常流程。而实际代码中，80%的代码是在处理异常逻辑，而正常流程只占20%。
由此可见，异常处理是很重要的一块内容。
本文就以原生的JAVA客户端为例，聊聊HDFS里写文件过程中的异常处理。
先来简单回顾下HDFS的写文件流程，如下图所示：
![]()
客户端向NN申请block，NN处理请求后需要将操作写入JN中。随后，客户端向DN建立连接发送数据，最后向NN同步block的信息。详细流程戳这里。
整个流程中，JN、NN、不同的DN出现异常，均可能导致写异常或失败。
【JN异常】
假如在客户端addBlock之前，JN就出现了异常，那么addBlock会失败，因此block会写失败。
而假如在客户端成功addBlock后，JN出现了异常，例如停止所有的JN，会怎样呢？
实测发现，首先两个NN均未重启，但都停止提供服务，其用于rpc通信的端口也没有处于监听状态。其次，客户端一开始并没有报错，还在持续的向dn写入数据，从DN节点的rbw目录中，可以观察到block文件大小在持续递增，也就是说文件在不断的写入。
![]()
但再次申请block时，出现无法连接NN的异常报错，因此无法继续写入新的block。
另外需要注意的是：该测试中，写动作恰好在客户端续租约的周期内完成的，因此一个block能完整写完。
![]()
但是，如果写过程中遇到了自动续租约的流程，由于NN已经不再提供服务，因此客户端续约会失败，而失败后的处理逻辑就是停止写文件。
在此之后，重新启动JN，NN恢复正常，通过命令下载文件，文件的大小、内容与已写入的完全一致。
![]()
结论：只要租约未到期，客户端就可以持续写入直到写完当前block，再次申请新的block时会报错，而已经写入的内容等JN恢复后，可以准确读取出来。
【NN异常】
由于NN有HA机制，当Active NN出现异常后，standby的NN会自动提升为新的Active接管提供服务，因此只要不是两个NN同时出现异常，就都可以正常读写。
如果两个NN均出现了问题，那么情况就和上面的JN异常一样了（JN都异常了，NN不提供服务）。
【DN异常】
首先，客户端分两种情况感知DN的异常。这个异常包括DN进程异常，DN所在节点网络异常，或者DN节点存储数据的磁盘异常。
一种是直接与客户端连接的DN异常，客户端通过socket的读写失败，从而感知到该DN的异常。
另一种是非直接与客户端连接的DN异常，与客户端直接连接的DN在给客户端的ack包中会携带异常DN的序号，客户端在处理ack包的时候就能感知哪个DN异常了。
尽管感知DN异常的方式不一样，但异常的处理逻辑都是一样的。
![]()
如上图所示，异常处理的流程为：
上面所说的替换DN需要判断是否满足条件，具体来说，受下面几个配置项的影响。
dfs.client.block.write.replace-datanode-on-failure.enable
是否启用替换DN的处理机制，默认值为true，也就是启用DN替换机制。
如果是false，当DN异常后，客户端移除异常的DN后使用剩余的DN继续进行写操作。
dfs.client.block.write.replace-datanode-on-failure.policy
替换DN的具体策略，仅当启动替换DN时该配置项才生效。可选的策略包括：
ALWAYS：始终执行替换DN的动作。
NEVER：始终不进行替换DN的动作。
DEFAULT：默认策略，（1）移除异常后的DN列表个数大于block副本数除2（即副本数中还有多数的节点是非异常的），（2）如果是append或hflushed添加的block，并且副本数大于DN列表数。
当副本数大于3并且满足上述任意条件时，执行替换DN的处理。
dfs.client.block.write.replace-datanode-on-failure.replication
允许的最小失败次数，如果配置为0，那么如果找不到可替换的DN时，会抛出异常。
另外还有一个细节，前面提到了替换DN后，选择一个DN作为源，向其他DN同步源DN上已经存储的block数据，接着客户端再重新进行数据传输。
那么，可能会出现这么一种情况。
例如：客户端发送序号为3的packet时，DN1出现了异常，此时客户端还未收到序号为3的packet的ack，因此放入待发送队列中，等完成DN替换后，继续进行发送，而DN2中实际已经将序号为3的已经写入的本地，那么再次收到客户端发送的序号为3的packet是否会有问题呢？
![]()
对于这个问题，DN2收到packet后，执行同样的逻辑流程，先继续向后面的DN进行转发，但是在真正写入时，判断本地文件中的block数据的偏移位置是否大于发送过来的packet数据在block中的偏移位置，如果本地的偏移位置更大，意味着该packet数据实际已经接收过了，实际处理时就不再进行本地的写入动作。
【总结】
本文总结了写过程中，不同服务模块出现异常的后的现象与处理机制。实际上，不同的客户端实现有不同的逻辑，例如看过的一个golang客户端实现就没有DN异常后替换DN的逻辑处理，
好了，本文就介绍到这里了，原创不易，点赞，在看，分享是最好的支持， 谢谢～
![]()
