Hadoop状态页面的Browse the filesystem链接无效的问题

2012-12-14 829

NameNode '192.168.1.164:9000'

Started:	Tue Jul 06 14:37:10 CST 2010
Version:	0.20.2, r911707
Compiled:	Fri Feb 19 08:07:34 UTC 2010 by chrisdo
Upgrades:	There are no upgrades in progress.

Browse the filesystem
Namenode Logs

Cluster Summary

4 files and directories, 1 blocks = 5 total. Heap Size is 16.12 MB / 888.94 MB (1%)

Configured Capacity	:	1.59 TB
DFS Used	:	72 KB
Non DFS Used	:	120.87 GB
DFS Remaining	:	1.47 TB
DFS Used%	:	0 %
DFS Remaining%	:	92.57 %
Live Nodes	:	2
Dead Nodes	:	0

NameNode Storage:

Storage Directory	Type	State
/opt/hadoop/data/dfs.name.dir	IMAGE_AND_EDITS	Active

Hadoop , 2010.

　　以上是我们安装完成，并且正常运行后的HDFS状态页面（访问地址：http://210.66.44.88:50070/dfshealth.jsp），其中的Browse the filesystem 是查看文件系统的入口，但是有可能会出现无法访问的问题，我就遇到过，上网查了很久的解决办法都无果，后来我通过firebug拦截请求发现，Browse the filesystem这个链接的页面会跳转到另外一个页面，而这个页面的地址是http://192.168.1.164:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=%2F（ 192.168.1.164是服务器的内网地址，在masters和slaves文件中配置的是局域网IP），但是需要通过外网才能访问（类似于http://210.66.44.88:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=%2F才行），这就是问题所在。

　　我们来看看nn_browsedfscontent.jsp的源代码：

Java代码

package org.apache.hadoop.hdfs.server.namenode;
import java.io.IOException;
import java.net.InetAddress;
import java.net.InetSocketAddress;
import java.net.URLEncoder;
import java.util.Vector;
import javax.servlet.ServletConfig;
import javax.servlet.ServletContext;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import javax.servlet.http.HttpSession;
import javax.servlet.jsp.JspFactory;
import javax.servlet.jsp.JspWriter;
import javax.servlet.jsp.PageContext;
import javax.servlet.jsp.SkipPageException;
import org.apache.hadoop.util.ServletUtil;
import org.apache.jasper.runtime.HttpJspBase;
import org.apache.jasper.runtime.JspSourceDependent;
import org.apache.jasper.runtime.ResourceInjector;
public final class nn_005fbrowsedfscontent_jsp extends HttpJspBase
implements JspSourceDependent
{
private static final JspFactory _jspxFactory = JspFactory.getDefaultFactory();
private static Vector _jspx_dependants;
private ResourceInjector _jspx_resourceInjector;
//此处是将请求随机转发到一个DataNode节点上
public void redirectToRandomDataNode(NameNode nn, HttpServletResponse resp)
throws IOException
{
String nodeToRedirect;
int redirectPort;
FSNamesystem fsn = nn.getNamesystem();
String datanode = fsn.randomDataNode();
if (datanode != null) {
redirectPort = Integer.parseInt(datanode.substring(datanode.indexOf(58) + 1));
nodeToRedirect = datanode.substring(0, datanode.indexOf(58));
}
else {
nodeToRedirect = nn.getHttpAddress().getHostName();
redirectPort = nn.getHttpAddress().getPort();
}
// 此处是得到服务器的名称（hostname）
String fqdn = InetAddress.getByName(nodeToRedirect).getCanonicalHostName();
String redirectLocation = "http://" + fqdn + ":" + redirectPort + "/browseDirectory.jsp?namenodeInfoPort=" + nn.getHttpAddress().getPort() + "&dir=" + URLEncoder.encode("/", "UTF-8");
resp.sendRedirect(redirectLocation);
}
public Object getDependants()
{
return _jspx_dependants;
}
public void _jspService(HttpServletRequest request, HttpServletResponse response)
throws IOException, ServletException
{
PageContext pageContext = null;
HttpSession session = null;
ServletContext application = null;
ServletConfig config = null;
JspWriter out = null;
Object page = this;
JspWriter _jspx_out = null;
PageContext _jspx_page_context = null;
try
{
response.setContentType("text/html; charset=UTF-8");
pageContext = _jspxFactory.getPageContext(this, request, response, null, true, 8192, true);
_jspx_page_context = pageContext;
application = pageContext.getServletContext();
config = pageContext.getServletConfig();
session = pageContext.getSession();
out = pageContext.getOut();
_jspx_out = out;
this._jspx_resourceInjector = ((ResourceInjector)application.getAttribute("com.sun.appserv.jsp.resource.injector"));
out.write(10);
out.write("\n\n<html>\n\n<title></title>\n\n<body>\n");
NameNode nn = (NameNode)application.getAttribute("name.node");
redirectToRandomDataNode(nn, response);
out.write("\n<hr>\n\n<h2>Local logs</h2>\n<a href=\"/logs/\">Log</a> directory\n\n");
out.println(ServletUtil.htmlFooter());
out.write(10);
} catch (Throwable t) {
if (!(t instanceof SkipPageException)) {
out = _jspx_out;
if ((out != null) && (out.getBufferSize() != 0))
out.clearBuffer();
if (_jspx_page_context != null) _jspx_page_context.handlePageException(t);
}
} finally {
_jspxFactory.releasePageContext(_jspx_page_context);
}
}
}

package org.apache.hadoop.hdfs.server.namenode;

import java.io.IOException;
import java.net.InetAddress;
import java.net.InetSocketAddress;
import java.net.URLEncoder;
import java.util.Vector;
import javax.servlet.ServletConfig;
import javax.servlet.ServletContext;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import javax.servlet.http.HttpSession;
import javax.servlet.jsp.JspFactory;
import javax.servlet.jsp.JspWriter;
import javax.servlet.jsp.PageContext;
import javax.servlet.jsp.SkipPageException;
import org.apache.hadoop.util.ServletUtil;
import org.apache.jasper.runtime.HttpJspBase;
import org.apache.jasper.runtime.JspSourceDependent;
import org.apache.jasper.runtime.ResourceInjector;

public final class nn_005fbrowsedfscontent_jsp extends HttpJspBase
  implements JspSourceDependent
{
  private static final JspFactory _jspxFactory = JspFactory.getDefaultFactory();
  private static Vector _jspx_dependants;
  private ResourceInjector _jspx_resourceInjector;

  //此处是将请求随机转发到一个DataNode节点上
  public void redirectToRandomDataNode(NameNode nn, HttpServletResponse resp)
    throws IOException
  {
    String nodeToRedirect;
    int redirectPort;
    FSNamesystem fsn = nn.getNamesystem();
    String datanode = fsn.randomDataNode();

    if (datanode != null) {
      redirectPort = Integer.parseInt(datanode.substring(datanode.indexOf(58) + 1));
      nodeToRedirect = datanode.substring(0, datanode.indexOf(58));
    }
    else {
      nodeToRedirect = nn.getHttpAddress().getHostName();
      redirectPort = nn.getHttpAddress().getPort();
    }
    // 此处是得到服务器的名称（hostname）
    String fqdn = InetAddress.getByName(nodeToRedirect).getCanonicalHostName();
    String redirectLocation = "http://" + fqdn + ":" + redirectPort + "/browseDirectory.jsp?namenodeInfoPort=" + nn.getHttpAddress().getPort() + "&dir=" + URLEncoder.encode("/", "UTF-8");

    resp.sendRedirect(redirectLocation);
  }

  public Object getDependants()
  {
    return _jspx_dependants;
  }

  public void _jspService(HttpServletRequest request, HttpServletResponse response)
    throws IOException, ServletException
  {
    PageContext pageContext = null;
    HttpSession session = null;
    ServletContext application = null;
    ServletConfig config = null;
    JspWriter out = null;
    Object page = this;
    JspWriter _jspx_out = null;
    PageContext _jspx_page_context = null;
    try
    {
      response.setContentType("text/html; charset=UTF-8");
      pageContext = _jspxFactory.getPageContext(this, request, response, null, true, 8192, true);

      _jspx_page_context = pageContext;
      application = pageContext.getServletContext();
      config = pageContext.getServletConfig();
      session = pageContext.getSession();
      out = pageContext.getOut();
      _jspx_out = out;
      this._jspx_resourceInjector = ((ResourceInjector)application.getAttribute("com.sun.appserv.jsp.resource.injector"));

      out.write(10);
      out.write("\n\n<html>\n\n<title></title>\n\n<body>\n");

      NameNode nn = (NameNode)application.getAttribute("name.node");
      redirectToRandomDataNode(nn, response);

      out.write("\n<hr>\n\n<h2>Local logs</h2>\n<a href=\"/logs/\">Log</a> directory\n\n");

      out.println(ServletUtil.htmlFooter());

      out.write(10);
    } catch (Throwable t) {
      if (!(t instanceof SkipPageException)) {
        out = _jspx_out;
        if ((out != null) && (out.getBufferSize() != 0))
          out.clearBuffer();
        if (_jspx_page_context != null) _jspx_page_context.handlePageException(t);
      }
    } finally {
      _jspxFactory.releasePageContext(_jspx_page_context);
    }
  }
}

　　从代码可以看出，当我们点击Browse the filesystem 时后台会将请求随机转发到一台DataNode节点，使用的是slaves文件中配置的服务器列表所反解的域名或主机名，而通过局域网IP未能反解出域名和主机名，所以用的是IP，这样就出问题了，解决办法有两个：视redirectToRandomDataNode方法内生成的URL而定，如果反转域名是主机名的话，你只需要修改本地HOSTS映射就可以了（推荐使用Windows Hosts Editor，软件地址：http://yymmiinngg.iteye.com/blog/360779）；如果反转出的域名是主机局域网IP的话，那就需要配置slaves和masters使用域名或外网IP

微信关注我们

原文链接：https://yq.aliyun.com/articles/450300

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop安装注意IPV6问题

因为hadoop默认是支持ipv6的因此如果linux本身支持ipv6的话就会把端口绑定到ipv6上需要在Hadoop-env.sh中加一句 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

2012-12-15

1002

版权声明：本文为博主chszs的原创文章，未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/8301726 企业如何选择Hadoop 作者：chszs，转载需注明。作者博客主页：http://blog.csdn.net/chszs 本文讨论Apache Hadoop大数据工具及技术，帮助有效管理实时的大数据，并讨论Apache Hadoop大数据分析的优缺点。帮助企业认识Hadoop，在选择Hadoop技术方案上做出抉择。一、什么是大数据分析工具及技术 Hadoop是目前的处理和存储海量数据的最佳工具。Hadoop可以利用数百台甚至数千台计算机处理大数据问题，而不是使用单机处理。 Hadoop可以以廉价、快速的范式处理大数据，彬进行数据挖掘和数据分析。Hadoop能解决大多数大数据问题。 Apache Hadoop是开源项目，灵感来自于Google的研究。 Hadoop把计算机协调成一个整体，称为集群，其中的每台计算机都称为节点。二、Hadoop大数据分析工具及技术的优点： 1. Hadoop很便宜。Hadoop是开源的...

2012-12-16

692

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。