Flink入坑指南 第一章 - 简介
Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。
Flink是什么
这是个很玄妙的问题。在以下网站上做了很专业的介绍。
- Flink官网:https://flink.apache.org/
- Flink中文官网:https://flink-china.org/
如果你是大数据从业人士,简单理解,在功能上:flink>storm=jstorm=spark streaming。玩过大数据的同学对这些系统应该都不陌生。作为流计算领域的后起之秀,flink架构设计先进,ms级延时,支持Exactly once语义等,逐渐受到广大工程师的青睐,有越来越多的公司开始入坑Flink。
如
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Streaming System 第三章:Watermarks
简介 本章主要介绍鲁棒的处理乱序数据的核心概念,这些概念的运用使流处理系统超越批处理系统的关键所在。本章我们从流计算系统的底层机制深入来探讨一下watermark。学习这些机制有助于我们更好理解和使用watermark。我们将讨论watermark如何生成,传播和影响输出结果的时间戳。我们还将解释,watermark如何保证结果的正确性。 本文由《Streaming System》一书第三章的提炼翻译而来,译者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。 定义 对任何一个持续输入和输出数据的管道来说,我们希望知道如何判断事件时间窗口的结束。窗口结束之后,不会再有这个窗口的数据到来。判断事件事件窗口结束的第一种方式是,按照处理事件来判断。但是真实世界中,处理事件一定比事件时间晚,并且由于各种原因导致的数据乱序问题,会导致数据进入
- 下一篇
Flink入坑指南 第二章 - 从一个需求开始
Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。 从一个需求开始 小明是一个电商平台的数据开发工程师,在其公司的电商平台上,分了很多类目,每个类目有很多店铺。整个公司的数据链路如下: 蓝色链路为日志点击链路,每次用户从手机端/PC端发起的浏览网页请求,都会被发送到kafka里,然后被持久化到HDFS上,供数据分析。 黄色链路交易链路,每次用户下单交易都会进入MySQL业务库。每天凌晨,MySQL库的数据都会被同步到Hadoop中。 Hadoop的HDFS上,保存了该公司产生的所有数据,包括交易数据和点击数据。 在很长一段时间内,小明老板每天早上都会看一下整个平台业务运营报表,
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS8编译安装MySQL8.0.19
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题