hadoop jetty的应用-低调大师

hadoop jetty的应用

2017-11-07 734

在hadoop中很多地方都用到了servlet，并且使用jetty作为servlet的容器来提供http的服务，其主要是通过org.apache.hadoop.http.HttpServer类实现的，HttpServer类是对Jetty的简单封装，通过调用HttpServer类的addServlet方法增加可以实现增加servlet到jetty的功能：

 
        public 
        void 
        addServlet(String name, String pathSpec, 
       
        Class<? 
        extends 
        HttpServlet> clazz) {     
        //名称，url访问路径，处理类 
       
        addInternalServlet(name, pathSpec, clazz, 
        false
        ); 
       
        addFilterPathMapping(pathSpec, webAppContext); 
       
        }

默认在HttpServer的构造函数中，会调用addDefaultServlets添加需要增加的servlets:

 
        public 
        HttpServer(String name, String bindAddress, 
        int 
        port, 
       
        boolean 
        findPort, Configuration conf, AccessControlList adminsAcl, 
       
        Connector connector, String[] pathSpecs) 
        throws 
        IOException { 
       
        ....
       
        webAppContext = 
        new 
        WebAppContext(); 
       
        webAppContext.setDisplayName(name); 
       
        webAppContext.setContextPath( 
        "/"
        ); 
       
        webAppContext.setWar(appDir + 
        "/" 
        + name); 
       
        ....
       
        addDefaultServlets(); 
       
        ....

启动addDefaultServlets定义了默认加载的servlet:

 
        protected 
        void 
        addDefaultServlets() { 
       
        // set up default servlets 
       
        addServlet(
        "stacks" 
        , 
        "/stacks" 
        , StackServlet.
        class
        ); 
       
        addServlet(
        "logLevel"
        , 
        "/logLevel"
        , LogLevel.Servlet.
        class
        ); 
       
        addServlet(
        "metrics"
        , 
        "/metrics"
        , MetricsServlet.
        class
        ); 
       
        addServlet(
        "jmx"
        , 
        "/jmx"
        , JMXJsonServlet.
        class
        ); 
       
        addServlet(
        "conf"
        , 
        "/conf"
        , ConfServlet.
        class
        ); 
       
        }

hadoop在多个地方都用到了HttpServer这个类：

比如在org.apache.hadoop.hdfs.server.datanode.DataNode类中：

 
        DataNode的构造函数--->startDataNode-->initDataXceiver+startInfoServer

其中startInfoServer就是调用HttpServer类启动jetty的：

 
        private 
        HttpServer infoServer = 
        null
        ; 
       
        ...
       
        private 
        void 
        startInfoServer(Configuration conf) 
        throws 
        IOException { 
       
        // create a servlet to serve full-file content 
       
        InetSocketAddress infoSocAddr = DataNode.getInfoAddr(conf); 
       
        String infoHost = infoSocAddr.getHostName(); 
       
        int 
        tmpInfoPort = infoSocAddr.getPort(); 
       
        this
        .infoServer = (secureResources == 
        null
        ) 
       
        ? 
        new 
        HttpServer(
        "datanode"
        , infoHost, tmpInfoPort, tmpInfoPort == 
        0
        , 
       
        conf, 
        new 
        AccessControlList(conf.get(DFS_ADMIN, 
        " "
        ))) 
       
        : 
        new 
        HttpServer(
        "datanode"
        , infoHost, tmpInfoPort, tmpInfoPort == 
        0
        , 
       
        conf, 
        new 
        AccessControlList(conf.get(DFS_ADMIN, 
        " "
        )), 
       
        secureResources.getListener()); 
       
        LOG.info(
        "Opened info server at " 
        + infoHost + 
        ":" 
        + tmpInfoPort); 
       
        .....
       
        this
        .infoServer.addInternalServlet(
        null
        , 
        "/streamFile/*"
        , StreamFile.
        class
        ); 
        //添加datanode专属的servlet 
       
        this
        .infoServer.addInternalServlet(
        null
        , 
        "/getFileChecksum/*"
        , 
       
        FileChecksumServlets.GetServlet.
        class
        ); 
       
        this
        .infoServer.setAttribute(
        "datanode"
        , 
        this
        ); 
       
        this
        .infoServer.setAttribute(JspHelper.CURRENT_CONF, conf); 
       
        this
        .infoServer.addServlet(
        null
        , 
        "/blockScannerReport"
        , 
       
        DataBlockScanner.Servlet.
        class
        ); 
       
        if 
        (WebHdfsFileSystem.isEnabled(conf, LOG)) { 
       
        infoServer.addJerseyResourcePackage(DatanodeWebHdfsMethods.
        class 
       
        .getPackage().getName() + 
        ";" 
        + Param.
        class
        .getPackage().getName(), 
       
        WebHdfsFileSystem.PATH_PREFIX + 
        "/*"
        ); 
       
        } 
       
        this
        .infoServer.start(); 
       
        }

小结如下：

1)HttpServer是对Jetty的简单封装

2)hadoop各个组件都会用到HttpServer,datanode/namenode,resourcemanager等

其主要功能有：Hadoop的内部状态显示，运行和管理

3)HttpServer的addDefaultServlets方法定义了通用的几个servlet（比如更改日志级别的servlet），在每个类中又会定义属于自己的servlet

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1592799，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434323

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

storm写redis问题小结

最近一直在跟进storm的问题，从storm集群的稳定性到监控到升级到bolt写redis的问题,因为公司目前没有专业运维redis的，只能我们数据部门自己搞了。。下面记录下遇到的几个问题: 总结下目前storm写redis问题: 1.redis高峰写入异常，增加redis监控，发现cpu性能瓶颈(redis单线程，最高10w/s的处理量) 2.之前redis bolt的并发在200以上，过多的并发对redis的性能造成比较大的影响，现在已经减少为5 3.关闭了redis的monitor监控,常驻的monitor监控对redis的性能损耗在30%左右 4.关闭了redis的rdb持久化方式，开启了aof的方式，在低峰aofrewrite 5.扩容到8个实例，使用jedissharding的方式，高峰时单机超过5W/s处理量 6.去掉select操作，使用默认db0 7.对高峰时的数据进行分析，40w/s的处理量中，ping操作占50%以上，调整jedispool的设置，基本上屏蔽了ping的操作 8.bolt端batch处理，减少写入量 9.40%的expire操作，测试ttl+exp...

2017-11-07

591

最近因为要改hadoop的一些代码，需要重新编译，测试环境是用cdh4.6.0做debug,简单记录下hadoop的编译方法： 1）编译环境需要下面几个包 1 yum install lzo-develzlib-develgccautoconfautomakelibtoolncurses-developenssl-develcmake 2）需要mvn/ant环境 3）在src目录下运行 1 mvn package -DskipTests-Pdist, native -Dtar-e-X 4）protobuf的版本要求，cdh4.6.0需要*2.4*版本如果protobuf版本不匹配会报如下错误，并导致hadoop-common无法编译完成: 1 2 3 4 5 [exec]Requiredversionof 'protoc' is 2.4 .0a,reportedlibprotoc 2.5 . 0 .... Causedby: /home/caiguangguang/hadoop- 2.0 . 0 -cdh4. 6.0 /src/hadoop-common-project/hadoo...

2017-11-07

621

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。