NAMENODE工作机制,元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明(来自学习资料)
NAMENODE工作机制 学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力 问题场景: 1、集群启动后,可以查看目录,但是上传文件时报错,打开web页面可看到namenode正处于safemode状态,怎么处理? 解释: safemode是namenode的一种状态(active/standby/safemode安全模式) namenode进入安全模式的原理: a、namenode发现集群中的block丢失率达到一定比例时(0.01%),namenode就会进入安全模式,在安全模式下,客户端不能对任何数据进行操作,只能查看元数据信息(比如ls/mkdir) b、如何退出安全模式? 找到问题所在,进行修复(比如修复宕机的datanode) 或者可以手动强行退出安全模式(没有真正解决问题): hdfs namenode--safemode leave c、在hdfs集群正常冷启动时,namenode也会在safemode状态下维持相当长的一段时间,此时你...
