KubeCon: Flink on K8s
目录
- 集群概况
-
玩转Flink on Kubernetes
- WindowJoin
- SQL
集群概况
BigData Manager简介
BigData on Kubernetes
部署向导
运维管理
开发者IDE
玩转Flink on Kubernetes
WindowJoin
简介
Example illustrating a windowed stream join between two data streams.
The example works on two input streams with pairs (name, grade) and (name, salary) respectively. It joins the steams based on "name" within a configurable window. The example uses a built-in sample data generator that generates the steams of pairs at a configurable rate.
- Source1:name, grade
- Source2:name, salary
- Result:name, grade, salary
过程
创建Deployment
-
浏览器打开
- 0) http://47.92.41.71:8080/app/
- 1) http://39.98.106.146:8080/app/
- 2) http://39.98.8.131:8080/app/
- 3) http://39.98.7.153:8080/app/
- 4) http://39.98.106.174:8080/app/
- 5) http://39.98.8.106:8080/app/
- 6) http://39.98.106.162:8080/app/
- 7) http://47.92.44.149:8080/app/
- 8) http://39.98.7.241:8080/app/
- 9) http://39.98.7.20:8080/app/
- 创建Deployment
- Organization中输入用户名
-
Configuration:
- Intepreter选择Blink/JAR
- Blink Version: 3.2.1 / blink-3.2-SNAPSHOT
- Jar URI: hdfs:///example/flink-examples-WindowJoin.jar
- entryClass: org.apache.flink.streaming.examples.join.WindowJoin
- 点击Create Deployment
启动job
如上图操作
查看结果
- 点击“Blink UI”,跳转到Apache Flink的dashboard
- Jobs -> Running Jobs -> Windowed Join Example
- 结果日志查看:Task Managers -> Path, ID -> Log
停止Job
- 回到Deployment页面,点击Cancel(集群资源有限,为了后续体验,请一定停掉此job)
SQL
简介
实时热门商品, 每隔5分钟输出最近一小时内点击量最多的前 N 个商品(例子详情,请移步http://wuchong.me/blog/2018/11/07/use-flink-calculate-hot-items/ ,天池大赛的数据)
列名称 | 说明 |
---|---|
用户ID | 整数类型,加密后的用户ID |
商品ID | 整数类型,加密后的商品ID |
商品类目ID | 整数类型,加密后的商品所属类目ID |
行为类型 | 字符串,枚举类型,包括(‘pv’, ‘buy’, ‘cart’, ‘fav’) |
时间戳 | 行为发生的时间戳,单位秒 |
过程
创建Deployment
- 创建Deployment
-
Configuration:
- Intepreter选择Blink/SQL
- Execution Mode:STREAM
- Blink Version: 3.2.1 / blink-3.2-SNAPSHOT
- Artifact:HotItem
-
Runtime Configuration:
- state.backend.type = rocksdb
- state.backend.rocksdb.ttl.ms = 129600000
Job信息
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Java技术周刊第12期:编写高性能的Java代码需要注意的4个问题
【点击订阅Java技术周刊】 Java的开发者们: 云栖社区已有5000位Java开发者,发布了30000+Java文章(文章列表),沉淀了7000+的Java精品问答(问答列表)。 Java技术周刊将会为大家介绍最新的Java技术与动态、预告活动、最热问答、直播教程等,欢迎大家订阅Java技术周刊和关注Java社区公众号。 最新动态 编写高性能的Java代码需要注意的4个问题问题1:Java中创建一个线程消耗多少内存?问题2:一台机器可以创建多少线程? Java爬虫快速开发工具uncs的部署全攻略uncs是java快速开发爬虫的工具,简单便捷,经过大量版本迭代和生产验证,可以适用大多数网站,推荐使用。 SpringBoot使用redis进行发布订阅消息redis不仅是一个非常强大的非关系型数据库,它同时还拥有消息中间件的pub/sub功能,在
- 下一篇
K8S自己动手系列 - 2.3 - PV & PVC
前言 在实验2.2 – Deployment中,我们将原来基于Pod部署的wordpress+mysql成功改造成基于Deployment部署,基于Deployment部署有很多好处,例如:支持滚动升级(Rolling Update),支持水平扩展。 不过有个问题,就是当我们的Deployment修改了,或者Pod删除重建了,数据也随之丢失了,这是我们不希望看到的,本篇文章我们就来尝试一下基于PV & PVC保存数据状态的有状态应用。 场景 对于单实例的有状态应用,我们可以定义Deployment并且replicas只能为1,用指定PVC的方式关联到一个PV上,使用PV提供的状态存储功能。如果要启动多实例,那么Deployment就无法胜任这个任务,必须使用到我们后面会讲到的StatefulSet+PVC Template的方式创建多实例对多PVC的模型。 本文实验所有的源码保存在:https://github.com/zrbcool/blog-public/tree/master/k8s-hands-on/lab06 实战 PVC定义 lab06 git:(master) c...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Red5直播服务器,属于Java语言的直播服务器
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能