Spark Netty与Jetty （源码阅读十一）-低调大师

Spark Netty与Jetty （源码阅读十一）

2016-12-07 655

　　spark呢，对Netty API又做了一层封装，那么Netty是什么呢~是个鬼。它基于NIO的服务端客户端框架，具体不再说了，下面开始。

　　创建了一个线程工厂，生成的线程都给定一个前缀名。

　　像一般的netty框架一样，创建Netty的EventLoopGroup:

　　在常用的netty框架中呢，会创建客户端辅助类，设置SocketChannel：

  Bootstrap b = new Bootstrap();
  b.group(group).channel(NioSocketChannel.class)

　　spark中呢 根据参数IOMode，返回正确的客户端SocketChannel:

　　　　返回正确的服务端socketChannel:

　　返回远端的Channel地址：

　　创建一个ByteBuf对本地线程缓存禁用的分配器。ByteBuf是由事件循环线程分配，所以线程本地缓存对于TransportClient是禁用的，ByteBuf释放是由Executor线程，不是事件循环线程完成。本地线程缓存经常会延迟ByteBuf的回收，导致巨大的内存消耗。

　　Spark这个禽兽，对Jetty也进行了封装，什么是Jetty呢，它是以java作为开发语言的servlet容器，它的API以一组jar包的形式发布，提供网络和web服务.在我理解，Netty是用socket~Jetty呢就是Http~那么下来，我们看一下JettyUtils：

　　createServlet,生成HttpServlet匿名内部类，此Responder类型发生隐式转换，转换为用户传入的函数参数。

　　要为Jetty创建servlet,就涉及ServletContextHandler的API的使用，生成ServletContextHandler:

　　创建给定路径为前缀的请求的响应处理，将SparkUI中的全部handler加入ContextHandlerCollection.，如果使用配置spark.ui.filters指定了filter,则给所有handler添加filter.然后调用startServiceOnPort,最终回调函数connect:

微信关注我们

原文链接：https://yq.aliyun.com/articles/608974

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MapReduce实现手机上网流量分析（业务逻辑）

一、问题背景现在的移动刚一通话就可以在网站上看自己的通话记录，以前是本月只能看上一个月。不过流量仍然是只能看上一月的。目的就是找到用户在一段时间内的上网流量。本文并没有对时间分组。下一节进行分区，有兴趣的参看下一篇。二、数据集分析可以看出实际数据集并不是每个字段都有值，但是还好，完整地以tab隔开了，数据格式还是不错的，我们需要的上行下行数据都有，没有缺失值。其实这个需要在程序中处理，如果不在的话该怎么办。 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 264 0 200 1363157991076 13926435656 20-10-7A-28-CC-0A:CMCC 120.196.100.99 2 4 132 1512 200 1363154400022 13926251106 5C-...

2016-12-07

452

免费开通大数据服务：https://www.aliyun.com/product/odps 北京东润环能科技股份有限公司（以下简称“东润环能”）是一家从事新能源电力领域的数据信息服务公司，该司开创之初，提供了新能源发电功率预测系统、电网调度管理与支持系统、新能源城市规划与咨询服务等基础性产品，并逐步打造三大新能源互联网智慧服务生态圈平台，包括新能源投资开发生态圈第一平台、绿色电力交易与智慧用能生态圈第一平台、新能源资产智慧营运生态圈第一平台，在新能源产业金融领域将打造新能源产业数据挖掘投资服务系统。此前东润环能租用虚拟机，在虚拟机上自行搭建hadoop集群用于分析当天生产的气象数据，由于运行效率低，每天数据处理需要至少3个小时以上；于今年5月份开始将数据迁移至阿里云数加平台；目前每天数据处理仅需要1个小时就可以完成。以下是对于通过租

2016-12-08

714

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。