Hadoop的管理目录-低调大师

Hadoop的管理目录

2016-05-14 555

HDFS文件结构

1、NameNode的文件结构,NameNode会创建VERSION、edits、fsimage、fstime文件目录。其中dfs.name.dir属性是一个目录列表，是每个目录的镜像文件。VERSION文件是JAVA属性文件，其中包含运行HDFS的版本信息。包含内容:

　　其中,namespaceID是文件系统的唯一标识符，当文件系统第一次格式化时，便会被创建，这个标识符是必须跟各DataNode及诶单和NameNode保持一致。NameNode会使用它识别新的DataNode,DataNode只有在向NameNode注册后才会获得此namespaceID。cTime属性标记了NameNode存储空间创建的时间。对于新格式化的，这里时间为0，只要文件系统被更新，就会更新到一个新的时间戳上。StorageType指出此存储目录包含一个NameNode的数据结构，在DataNode中它的属性值为DATA_NODE. LayoutVersion是一个负的整数，定义了HDFS持久数据结构的版本。各节点的版本号要一致。

在NameNode的存储目录中还包含edits、fsimage、fstime三个文件，它们都是二进制的文件，可以通过HadoopWritable对象进行序列化。

2、编辑日志（edit log)及文件系统映像（filesystem image)

　　(1)当客户执行写操作时，首先NameNode会在编辑日志中写下记录，并在内存中保存一个文件系统元数据，这个描述符在编辑日志有了改动后更新，内存中的元数据用来提供读数据请求服务。

　　(2)编辑日志会在每次成功操作之后，且成功代码尚未返回给客户端之前进行刷新和同步。对于要写入多个目录的操作，写入流要刷新和同步到所有的副本上，保证操作不会因为故障而丢失数据。

　　(3)fsimage文件是文件系统元数据的持久性检查点，和编辑日志不同，它不会在每个文件系统写操作后进行更新，因为如果NameNode失败，那么元数据的最新状态可以通过从磁盘中读取fsimage文件加载到内存中来进行重建恢复，然后进行编辑日志中的操作(NameNode启动时也做的事情)。一个fsimage文件中包含以序列化格式存储的文件系统目录和文件inodes.每个inodes表征一个文件或目录的元数据信息，以及文件的副本数、修改和访问时间等信息。

　　Hadoop在NameNode之外的节点上运行了一个Secondary NameNode进程，它的任务是为原NameNode内存中的文件系统元数据产生检查点。是一个辅助NameNode处理fsimage和编辑日志的节点，它从NameNode中拷贝fsimage和编辑日志到零食目录合并成一个新的fsimage，随后会将新的fsimage上传到NameNode，这样NameNode便可更新fsimage并删除原来的编辑日志了。

NameNode在安全模式下，可通过以下命令运行这个过程: hadoop dfsadmin -saveNamespace

微信关注我们

原文链接：https://yq.aliyun.com/articles/609031

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark-项目中分析日志的核心代码

代码 LogRecord 类： case class LogRecord ( clientIpAddress: String, rfc1413ClientIdentity: String, remoteUser: String, ` dateTime: String, //[day/month/year:hour:minute:second zone] request: String, httpStatusCode: String, bytesSent: String, referer: String, userAgent: String ) LogParser 解析类 import java.util.regex.Pattern import java.text.SimpleDateFormat import java.util.Locale import scala.util.control.Exception._ import java.util.regex.Matcher import scala.util.{Try, Success, Failure} @SerialVers...

2016-05-15

611

HBase的服务器体系结构遵从简单的主从服务器架构，它由HRegion服务器(HRegion Service)群和HBase Master服务器(HBase Master Server)构成。Hbase Master服务器负责管理所有的HRegion服务器，而Hbase中所有的服务器是通过Zookeeper来进行协调，并处理HBase服务器运行期间可能遇到的错误的。 1、HRegion 当表的大小超过设置的值时，HBase会自动地将表划分为不同的区域，每个区域包含所有行的子集。从物理上讲，一张表被拆分成了多块，每一块儿就是一个HRegion.一个HRegion会保存一表里面某段连续的数据，从开始主键到结束主键，一张完整的表格是保存在多个HRegion上面。 2、HRegion服务器所有的数据一般都是保存在HDFS中，用户通过一系列HRegion服务器获取这些数据，一台机器上一般只运行一个HRegion服务器，且每一个区段的HRegion也只会被一个HRegion维护。当用户需要更新数据的时候，他会被分配到对应的HRegion服务器上提交修改，这些修改先是被写到Hmemcache缓存...

2016-05-15

769

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。