Hadoop上传文件报错： name node is in safe mode-低调大师

Hadoop上传文件报错： name node is in safe mode

2016-12-08 534

将本地文件拷贝到hdfs上去，结果上错误：Name node is in safe mode

这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。可以通过以下命令来手动离开安全模式：

hadoop dfsadmin -safemode leave
用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：

enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息
wait - 等待，一直到安全模式结束。

原贴地址：http://blog.csdn.net/xw13106209/article/details/6866072

微信关注我们

原文链接：https://yq.aliyun.com/articles/67309

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop中的序列化

1 简介序列化和反序列化就是结构化对象和字节流之间的转换，主要用在内部进程的通讯和持久化存储方面。通讯格式需求 hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信息。RPC的序列化需要实现以下几点： 1.压缩，可以起到压缩的效果，占用的宽带资源要小。 2.快速，内部进程为分布式系统构建了高速链路，因此在序列化和反序列化间必须是快速的，不能让传输速度成为瓶颈。 3.可扩展的，新的服务端为新的客户端增加了一个参数，老客户端照样可以使用。 4.兼容性好，可以支持多个语言的客户端存储格式需求表面上看来序列化框架在持久化存储方面可能需要其他的一些特性，但事实上依然是那四点： 1.压缩，占用的空间更小 2.快速，可以快速读写 3.可扩展，可以以老格式读取老数据 4.兼容性好，可以支持多种语言的读写hadoop的序列化格式 hadoop自身的序列化存储格式就是实现了Writable接口的类,他只实现了前面两点，压缩和快速。但是不容易扩展，也不跨语言。我们先来看下Writable接口，Writable接口定...

2016-12-09

674

本文翻译自Building Analytics Engine Using Akka, Kafka & ElasticSearch，已获得原作者Satendra Kumar和网站授权。在这篇文章里，我将和大家分享一下我用Scala、Akka、Play、Kafka和ElasticSearch等构建大型分布式、容错、可扩展的分析引擎的经验。我的分析引擎主要是用于文本分析的。输入有结构化的、非结构化的和半结构化的数据，我们会用分析引擎对数据进行大量处理。如下图所示为第一代架构，分析引擎可以用REST客户端或Web客户端（引擎内置）访问。简单描述一下用到的技术： Play框架做REST服务器和WEB应用。Play是个基于轻量级、无状态和WEB友好的MVC框架。 Akka集群作处理引擎。Akka是个工具集，用于在JVM上简化编写高并发、分布式、和有弹性的消息驱动应用。 ClusterClient用于与Akka集群通信。它运行在REST服务器上，将任务发给Akka集群。使用ClusterClient是一个非常错误的决定，因为它并不会维持与Akka集群的长连接，因而会经常报连接错误，而且...

2016-12-10

604

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。