LocalFlinkMiniCluster启动DataStream任务的流程
LocalFlinkMiniCluster 集群的actor 模型
- 相关的主要类图如下:
- AkkaRpcActor持有一个rpcEndpoint成员,接收到消息后进行基础解析后调用rpcEndpoint的的对应方法来进行处理。
- 其中RpcGateway及RpcEndPoint的类图
支持的消息类型
- 其中主要使用RpcInvocation基于反射调用RPCEndpoint的对应函数
- FencedMessage 将message进行封装成payload,通过fencingToken进行校验,保证请求的合法性
LocalFlinkMiniCluster集群的角色
ResouceManager
- 负责容器的分配
- 使用FencedAkkaRpcActor实现,其rpcEndpoint为 org.apache.flink.runtime.resourcemanag
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
基于Spark的机器学习实战 (十二) - 推荐系统实战
0 相关源码 将结合前述知识进行综合实战,以达到所学即所用。在推荐系统项目中,讲解了推荐系统基本原理以及实现推荐系统的架构思路,有其他相关研发经验基础的同学可以结合以往的经验,实现自己的推荐系统。 1 推荐系统简介 1.1 什么是推荐系统 1.2 推荐系统的作用 1.2.1 帮助顾客快速定位需求,节省时间 1.2.2 大幅度提高销售量 1.3 推荐系统的技术思想 1.3.1 推荐系统是一种机器学习的工程应用 1.3.2 推荐系统基于知识发现原理 1.4 推荐系统的工业化实现 Apache Spark Apache Mahout SVDFeature(C++) LibMF(C+ +,Lin Chih-Jen) 2 推荐系统原理 可能是推荐系统最详细且简单的入门教程 官方文档指南 协同过滤 协同过滤通常用于推荐系统。这些技术旨在填写用户项关联矩阵的缺失条目。 spark
- 下一篇
HanLP Analysis for Elasticsearch
基于 HanLP 的 Elasticsearch 中文分词插件,核心功能: 兼容 ES 5.x-7.x; 内置词典,无需额外配置即可使用; 支持用户自定义词典; 支持远程词典热更新(待开发); 内置多种分词模式,适合不同场景; 拼音过滤器(待开发); 简繁体转换过滤器(待开发)。 版本 插件版本和 ES 版本一致,直接下载对应版本的插件进行安装即可。 ·插件开发完成时,最新版本已经为 6.5.2 了,所以个人只对典型的版本进行了测试; ·5.X 在 5.0.0、5.5.0 版本进行了测试; ·6.X 在 6.0.0、6.3.0、6.4.1、6.5.1 版本进行了测试; ·7.X 在 7.0.0 版本进行了测试。 安装使用 下载编译 git clone 对应版本的代码,打开 pom.xml 文件,修改 <elasticsearch.version>6.5.1</elasticsearch.version> 为需要的 ES 版本;然后使用 mvn package 生产打包文件,最终文件在 target/release 文件夹下。 打包完成后,使用离线方式安...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS6,7,8上安装Nginx,支持https2.0的开启