Hadoop Browse the filesystem 无效处理-低调大师

Hadoop Browse the filesystem 无效处理

2013-07-28 901

当我们安装好并正常运行hdfs后输入http://xxxxxxxxx:50070会进入下图所示的页面。其中Browse the filesystem 是查看文件系统的入口。

但是在发现这个链接一直无效。通过Chrome的开发工具可以看这个链接访问地址是：nn_browsedfscontent.jsp

下面是nn_browsedfscontent.jsp的代码

 1 <%@ page
 2   contentType="text/html; charset=UTF-8"
 3   import="java.io.*"
 4   import="java.security.PrivilegedExceptionAction"
 5   import="java.util.*"
 6   import="javax.servlet.*"
 7   import="javax.servlet.http.*"
 8   import="org.apache.hadoop.conf.Configuration"
 9   import="org.apache.hadoop.hdfs.*"
10   import="org.apache.hadoop.hdfs.server.namenode.*"
11   import="org.apache.hadoop.hdfs.server.datanode.*"
12   import="org.apache.hadoop.hdfs.protocol.*"
13   import="org.apache.hadoop.hdfs.security.token.delegation.*"
14   import="org.apache.hadoop.io.Text"
15   import="org.apache.hadoop.security.UserGroupInformation"
16   import="org.apache.hadoop.security.token.Token"
17   import="org.apache.hadoop.util.*"
18   import="java.text.DateFormat"
19   import="java.net.InetAddress"
20   import="java.net.URLEncoder"
21 %>
22 <%!
23   static String getDelegationToken(final NameNode nn,
24                                    HttpServletRequest request, Configuration conf) 
25                                    throws IOException, InterruptedException {
26     final UserGroupInformation ugi = JspHelper.getUGI(request, conf);
27     Token<DelegationTokenIdentifier> token =
28       ugi.doAs(
29               new PrivilegedExceptionAction<Token<DelegationTokenIdentifier>>()
30           {
31             public Token<DelegationTokenIdentifier> run() throws IOException {
32               return nn.getDelegationToken(new Text(ugi.getUserName()));
33             }
34           });
35     return token.encodeToUrlString();
36   }
37 
38   public void redirectToRandomDataNode(
39                             NameNode nn, 
40                             HttpServletRequest request,
41                             HttpServletResponse resp,
42                             Configuration conf
43                            ) throws IOException, InterruptedException {
44     String tokenString = null;
45     if (UserGroupInformation.isSecurityEnabled()) {
46       tokenString = getDelegationToken(nn, request, conf);
47     }
48     FSNamesystem fsn = nn.getNamesystem();
49     String datanode = fsn.randomDataNode();
50     String redirectLocation;
51     String nodeToRedirect;
52     int redirectPort;
53     if (datanode != null) {
54       redirectPort = Integer.parseInt(datanode.substring(datanode.indexOf(':')
55                      + 1));
56       nodeToRedirect = datanode.substring(0, datanode.indexOf(':'));
57     }
58     else {
59       nodeToRedirect = nn.getHttpAddress().getHostName();
60       redirectPort = nn.getHttpAddress().getPort();
61     }
62     String fqdn = InetAddress.getByName(nodeToRedirect).getCanonicalHostName();
63     redirectLocation = "http://" + fqdn + ":" + redirectPort + 
64                        "/browseDirectory.jsp?namenodeInfoPort=" + 
65                        nn.getHttpAddress().getPort() +
66                        "&dir=/" + 
67                        (tokenString == null ? "" :
68                         JspHelper.getDelegationTokenUrlParam(tokenString));
69     resp.sendRedirect(redirectLocation);
70   }
71 %>
72 
73 <html>
74 
75 <title></title>
76 
77 <body>
78 <% 
79   NameNode nn = (NameNode)application.getAttribute("name.node");
80   Configuration conf = (Configuration) application.getAttribute(JspHelper.CURRENT_CONF);
81   redirectToRandomDataNode(nn, request, response, conf); 
82 %>
83 <hr>
84 
85 <h2>Local logs</h2>
86 <a href="/logs/">Log</a> directory
87 
88 <%
89 out.println(ServletUtil.htmlFooter());
90 %>

从代码中可以看出实际是跳转到一台datanode的browseDirectory.jsp，如：

http://xxxxxxx:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/

而xxxxxxx是集群中一台datanode的主机名。

那么就可以从以下两个点出发去看为什么无效：

1.50075端口是否正常

2.使用的机器是否能通过主机面访问datanode

检查之后发现自己这两个都没有配置......

最后通过在hdfs-site.xml中添加如下配置

<property>
<name>dfs.datanode.http.address</name>
<value>10.0.0.234:50075</value>
</property>

在hosts中添加datanode的主机命和ip修复了这个问题

记录、共勉。

如果本文对您有帮助，点一下右下角的“推荐”

微信关注我们

原文链接：https://yq.aliyun.com/articles/660468

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

spark

http://spark-project.org/

2013-07-26

735

转自：http://pieux.github.io/blog/2013-05-08-learn-hadoop-the-definitive-guide.html 1 前言 Hadoop的内部工作机制: 分布式系统理论, 实际工程和常识于一体的系统. 但是,Hadoop提供的用于构建分布式系统的工具–数据存储, 数据分析,和协调处理–都非常简单. 本书的结构: 1章介绍历史, 2章介绍MapReduce,3章剖析Hadoop文件系统, 特别是HDFS,4章包含Hadoop的基本I/O操作:数据完整性,压缩,序列化及基于文件的数据结构. 接下来的5~8章深入剖析MapReduce. 之后的省略说明. 本书的阅读方式和时间安排大致看了下目录, 第2章的入门必须看, 第3章HDFS看, 第4章I/O看, 今天大致看100多页, 然后, 准备在Ubuntu上安装Hadoop假集群. 尝试开发一个简单的应用. 毕业设计的计划步骤入门Hadoop 搭建集群设计应用程序逐步完成以上每一步都需记录. 毕业设计论文, 请教完格式后使用LaTex书写. 2 关于MapReduce MapReduc...

2013-07-31

768

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。