搭建部署Hadoop 之 HDFS
HDFSHadoop 分布式文件系统 分布式文件系统 分布式文件系统可以有效解决数据的存储和管理难题 – 将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统 – 众多的节点组成一个文件系统网络 – 每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输 – 人们在使用分布式文件系统时,无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的,只需要像使用本地文件系统一样管理和存储文件系统中的数据 HDFS 角色及概念 • 是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,用于在低成本的通用硬件上运行。 • 角色和概念 – Client – Namenode – Secondarynode – Datanode • NameNode – Master节点,管理HDFS的名称空间和数据块映射信息,配置副本策略,处理所有客户端请求。 • Secondary NameNode – 定期合并 fsimage 和fsedits,推送给NameNode – 紧急情况下,可辅助恢复NameNode, • 但Secondary NameNode并非NameNode的...