关于hadoop 1.2.1版本不支持“dfs.support.append”参数的解决办法-低调大师

关于hadoop 1.2.1版本不支持“dfs.support.append”参数的解决办法

2017-11-11 571

最近在测试hadoop+fluentd方案，但是fluentd日志收集系统，需要append功能选择，写日志到HDFS中，官方给出的解决方案是：

修改hdfs-site.xml 文件,增加如下行：

 
        <property>
       
        <name>dfs.webhdfs.enabled<
        /name
        > 
       
        <value>
        true
        <
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>dfs.support.append<
        /name
        > 
       
        <value>
        true
        <
        /value
        > 
       
        <
        /property
        > 
       
        <property>
       
        <name>dfs.support.broken.append<
        /name
        > 
       
        <value>
        true
        <
        /value
        > 
       
        <
        /property
        >

但是format namenode节点的时候会报错：

[hadoop@node1 ~]$ hadoop namenode -format

14/12/25 10:35:25 INFO namenode.NameNode: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG: host = node1.test.com/172.16.41.151

STARTUP_MSG: args = [-format]

STARTUP_MSG: version = 1.2.1

STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013

STARTUP_MSG: java = 1.7.0_67

************************************************************/

14/12/25 10:35:25 INFO util.GSet: Computing capacity for map BlocksMap

14/12/25 10:35:25 INFO util.GSet: VM type = 64-bit

14/12/25 10:35:25 INFO util.GSet: 2.0% max memory = 932184064

14/12/25 10:35:25 INFO util.GSet: capacity = 2^21 = 2097152 entries

14/12/25 10:35:25 INFO util.GSet: recommended=2097152, actual=2097152

14/12/25 10:35:26 INFO namenode.FSNamesystem: fsOwner=hadoop

14/12/25 10:35:26 INFO namenode.FSNamesystem: supergroup=supergroup

14/12/25 10:35:26 INFO namenode.FSNamesystem: isPermissionEnabled=true

14/12/25 10:35:26 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100

14/12/25 10:35:26 WARN namenode.FSNamesystem: The dfs.support.append option is in your configuration, however append is not supported. This configuration option is no longer required to enable sync

14/12/25 10:35:26 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)

14/12/25 10:35:26 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0

14/12/25 10:35:26 INFO namenode.NameNode: Caching file names occuring more than 10 times

14/12/25 10:35:26 INFO common.Storage: Image file /usr/local/hadoop_tmp/dfs/name/current/fsimage of size 112 bytes saved in 0 seconds.

14/12/25 10:35:26 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/local/hadoop_tmp/dfs/name/current/edits

14/12/25 10:35:26 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/local/hadoop_tmp/dfs/name/current/edits

14/12/25 10:35:26 INFO common.Storage: Storage directory /usr/local/hadoop_tmp/dfs/name has been successfully formatted.

网上搜索半天，最好解决办法如下：

用一下语句：

 
        <property>  
       
        <name>dfs.support.broken.append<
        /name
        >   
       
        <value>
        true
        <
        /value
        >   
       
        <
        /property
        >

然后再次格式化namenode，就不报错了！

[hadoop@node1 conf]$ hadoop namenode -format

14/12/25 10:47:18 INFO namenode.NameNode: STARTUP_MSG:

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG: host = node1.test.com/172.16.41.151

STARTUP_MSG: args = [-format]

STARTUP_MSG: version = 1.2.1

STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013

STARTUP_MSG: java = 1.7.0_67

************************************************************/

Re-format filesystem in /usr/local/hadoop_tmp/dfs/name ? (Y or N) Y

14/12/25 10:47:21 INFO util.GSet: Computing capacity for map BlocksMap

14/12/25 10:47:21 INFO util.GSet: VM type = 64-bit

14/12/25 10:47:21 INFO util.GSet: 2.0% max memory = 932184064

14/12/25 10:47:21 INFO util.GSet: capacity = 2^21 = 2097152 entries

14/12/25 10:47:21 INFO util.GSet: recommended=2097152, actual=2097152

14/12/25 10:47:21 INFO namenode.FSNamesystem: fsOwner=hadoop

14/12/25 10:47:21 INFO namenode.FSNamesystem: supergroup=supergroup

14/12/25 10:47:21 INFO namenode.FSNamesystem: isPermissionEnabled=true

14/12/25 10:47:21 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100

14/12/25 10:47:21 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)

14/12/25 10:47:21 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0

14/12/25 10:47:21 INFO namenode.NameNode: Caching file names occuring more than 10 times

14/12/25 10:47:21 INFO common.Storage: Image file /usr/local/hadoop_tmp/dfs/name/current/fsimage of size 112 bytes saved in 0 seconds.

14/12/25 10:47:21 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/local/hadoop_tmp/dfs/name/current/edits

14/12/25 10:47:21 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/local/hadoop_tmp/dfs/name/current/edits

14/12/25 10:47:21 INFO common.Storage: Storage directory /usr/local/hadoop_tmp/dfs/name has been successfully formatted.

14/12/25 10:47:21 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at node1.test.com/172.16.41.151

************************************************************/

本文转自 shine_forever 51CTO博客，原文链接:http://blog.51cto.com/shineforever/1595776

微信关注我们

原文链接：https://yq.aliyun.com/articles/477256

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

如何在Rancher上运行Elasticsearch

Elasticsearch是当前最流行的大数据集分析平台之一，对于日志聚合、商业智能以及机器学习等各类用例而言，Elasticsearch都是一个很有用的工具。Elasticsearch基于 REST的简单的API，使得创建索引、添加数据和进行复杂的查询变得非常简单，这也是它大受欢迎的一大原因。但是，在你开始构建数据集和运行查询之前，您需要设置一个Elasticsearch集群，这可能会有点难。现在我们来看看Rancher Catalog是如何让配置一个可扩展、高可用的Elasticsearch集群变容易的。假设你已经有一个运行中的Rancher集群，那么让Elasticsearch在你的集群上运行起来非常简单。只要通过顶部菜单打开 Catalog，然后搜索Elasticsearch。Elasticsearch条目有两个版本，我们假设你使用的是2.x，这是最新的稳定版本。要从集群启动stack，请选择查看详细信息（View Detail），然后在后续屏幕中选择stack名称（ Stack Name），集群名称（Cluster Name），然后选择启动。这个stack会启动以下服务...

2017-11-12

491

说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！ fluentd是通过hadoop中的webHDFS与HDFS进行通信的，所以在配置fluentd时，一定要保证webHDFS能正常通信，和通过webHDFS写数据到hdfs中！原理图如下： webHDFS的相关配置与测试，请看这篇文章：http://shineforever.blog.51cto.com/1429204/1585942 安装环境大致说明： 1）fluentd和hadoop中的namenode要安装到一台物理机器上； 2）os版本：rhel 5.7 64位 3）hadoop版本：1.2.1 4）jdk1.7.0_67 5）ruby版本：ruby 2.1.2p95 1.安装前的准备工作，安装ruby，因为fluentd是ruby开发的： yum install openssl-devel zlib-devel gcc gc...

2017-11-12

623

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。