Hadoop上传文件报错： name node is in safe mode-低调大师

Hadoop上传文件报错： name node is in safe mode

2016-12-08 520 89

将本地文件拷贝到hdfs上去，结果上错误：Name node is in safe mode

这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。可以通过以下命令来手动离开安全模式：

hadoop dfsadmin -safemode leave
用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：

enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息
wait - 等待，一直到安全模式结束。

原贴地址：http://blog.csdn.net/xw13106209/article/details/6866072

微信关注我们

原文链接：https://yq.aliyun.com/articles/67309

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-12-09 00:00:00

Hadoop中的序列化

1 简介序列化和反序列化就是结构化对象和字节流之间的转换，主要用在内部进程的通讯和持久化存储方面。通讯格式需求 hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信息。RPC的序列化需要实现以下几点： 1.压缩，可以起到压缩的效果，占用的宽带资源要小。 2.快速，内部进程为分布式系统构建了高速链路，因此在序列化和反序列化间必须是快速的，不能让传输速度成为瓶颈。 3.可扩展的，新的服务端为新的客户端增加了一个参数，老客户端照样可以使用。 4.兼容性好，可以支持多个语言的客户端存储格式需求表面上看来序列化框架在持久化存储方面可能需要其他的一些特性，但事实上依然是那四点： 1.压缩，占用的空间更小 2.快速，可以快速读写 3.可扩展，可以以老格式读取老数据 4.兼容性好，可以支持多种语言的读写hadoop的序列化格式 hadoop自身的序列化存储格式就是实现了Writable接口的类,他只实现了前面两点，压缩和快速。但是不容易扩展，也不跨语言。我们先来看下Writable接口，Writable接口定...

652

2016-12-10 00:00:00

使用Akka、Kafka和ElasticSearch等构建分析引擎 -- good

本文翻译自Building Analytics Engine Using Akka, Kafka & ElasticSearch，已获得原作者Satendra Kumar和网站授权。在这篇文章里，我将和大家分享一下我用Scala、Akka、Play、Kafka和ElasticSearch等构建大型分布式、容错、可扩展的分析引擎的经验。我的分析引擎主要是用于文本分析的。输入有结构化的、非结构化的和半结构化的数据，我们会用分析引擎对数据进行大量处理。如下图所示为第一代架构，分析引擎可以用REST客户端或Web客户端（引擎内置）访问。简单描述一下用到的技术： Play框架做REST服务器和WEB应用。Play是个基于轻量级、无状态和WEB友好的MVC框架。 Akka集群作处理引擎。Akka是个工具集，用于在JVM上简化编写高并发、分布式、和有弹性的消息驱动应用。 ClusterClient用于与Akka集群通信。它运行在REST服务器上，将任务发给Akka集群。使用ClusterClient是一个非常错误的决定，因为它并不会维持与Akka集群的长连接，因而会经常报连接错误，而且...

582

资源下载

更多资源

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。