Spark Netty与Jetty （源码阅读十一）-低调大师

Spark Netty与Jetty （源码阅读十一）

2016-12-07 748

　　spark呢，对Netty API又做了一层封装，那么Netty是什么呢~是个鬼。它基于NIO的服务端客户端框架，具体不再说了，下面开始。

　　创建了一个线程工厂，生成的线程都给定一个前缀名。

　　像一般的netty框架一样，创建Netty的EventLoopGroup:

　　在常用的netty框架中呢，会创建客户端辅助类，设置SocketChannel：

  Bootstrap b = new Bootstrap();
  b.group(group).channel(NioSocketChannel.class)

　　spark中呢 根据参数IOMode，返回正确的客户端SocketChannel:

　　　　返回正确的服务端socketChannel:

　　返回远端的Channel地址：

　　创建一个ByteBuf对本地线程缓存禁用的分配器。ByteBuf是由事件循环线程分配，所以线程本地缓存对于TransportClient是禁用的，ByteBuf释放是由Executor线程，不是事件循环线程完成。本地线程缓存经常会延迟ByteBuf的回收，导致巨大的内存消耗。

　　Spark这个禽兽，对Jetty也进行了封装，什么是Jetty呢，它是以java作为开发语言的servlet容器，它的API以一组jar包的形式发布，提供网络和web服务.在我理解，Netty是用socket~Jetty呢就是Http~那么下来，我们看一下JettyUtils：

　　createServlet,生成HttpServlet匿名内部类，此Responder类型发生隐式转换，转换为用户传入的函数参数。

　　要为Jetty创建servlet,就涉及ServletContextHandler的API的使用，生成ServletContextHandler:

　　创建给定路径为前缀的请求的响应处理，将SparkUI中的全部handler加入ContextHandlerCollection.，如果使用配置spark.ui.filters指定了filter,则给所有handler添加filter.然后调用startServiceOnPort,最终回调函数connect:

微信关注我们

原文链接：https://yq.aliyun.com/articles/608974

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MapReduce实现手机上网流量分析（业务逻辑）

一、问题背景现在的移动刚一通话就可以在网站上看自己的通话记录，以前是本月只能看上一个月。不过流量仍然是只能看上一月的。目的就是找到用户在一段时间内的上网流量。本文并没有对时间分组。下一节进行分区，有兴趣的参看下一篇。二、数据集分析可以看出实际数据集并不是每个字段都有值，但是还好，完整地以tab隔开了，数据格式还是不错的，我们需要的上行下行数据都有，没有缺失值。其实这个需要在程序中处理，如果不在的话该怎么办。 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 264 0 200 1363157991076 13926435656 20-10-7A-28-CC-0A:CMCC 120.196.100.99 2 4 132 1512 200 1363154400022 13926251106 5C-...

2016-12-07

551

免费开通大数据服务：https://www.aliyun.com/product/odps 北京东润环能科技股份有限公司（以下简称“东润环能”）是一家从事新能源电力领域的数据信息服务公司，该司开创之初，提供了新能源发电功率预测系统、电网调度管理与支持系统、新能源城市规划与咨询服务等基础性产品，并逐步打造三大新能源互联网智慧服务生态圈平台，包括新能源投资开发生态圈第一平台、绿色电力交易与智慧用能生态圈第一平台、新能源资产智慧营运生态圈第一平台，在新能源产业金融领域将打造新能源产业数据挖掘投资服务系统。此前东润环能租用虚拟机，在虚拟机上自行搭建hadoop集群用于分析当天生产的气象数据，由于运行效率低，每天数据处理需要至少3个小时以上；于今年5月份开始将数据迁移至阿里云数加平台；目前每天数据处理仅需要1个小时就可以完成。以下是对于通过租

2016-12-08

822

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。