Flink入坑指南 第二章 - 从一个需求开始
Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。
从一个需求开始
小明是一个电商平台的数据开发工程师,在其公司的电商平台上,分了很多类目,每个类目有很多店铺。整个公司的数据链路如下:
- 蓝色链路为日志点击链路,每次用户从手机端/PC端发起的浏览网页请求,都会被发送到kafka里,然后被持久化到HDFS上,供数据分析。
- 黄色链路交易链路,每次用户下单交易都会进入MySQL业务库。每天凌晨,MySQL库的数据都会被同步到Hadoop中。
- Hadoop的HDFS上,保存了该公司产生的所有数据,包括交易数据和点击数据。
在很长一段时间内,小明老板每天早上都会看一下整个平台业务运营报表,
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Flink入坑指南 第一章 - 简介
Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。 Flink是什么 这是个很玄妙的问题。在以下网站上做了很专业的介绍。 Flink官网:https://flink.apache.org/ Flink中文官网:https://flink-china.org/ 如果你是大数据从业人士,简单理解,在功能上:flink>storm=jstorm=spark streaming。玩过大数据的同学对这些系统应该都不陌生。作为流计算领域的后起之秀,flink架构设计先进,ms级延时,支持Exactly once语义等,逐渐受到广大工程师的青睐,有越来越多的公司开始入坑Flink。 如
- 下一篇
Flink入坑指南 第三章:第一个作业
摘要: Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。 Flink接口 Flink支持三种接口,也就是三种写作业的方式: SQL:实时计算产品与开源Flink相比,提供更全面的语法支持,目前95%的用户都是使用SQL解决其问题 TableAPI:表达能力与SQL相同 DataStream API:底层API,需要一定基础本系列文章会从流式SQL开始介绍。重点是帮助用户理解批和流SQL的区别,使用户能快速上手,在Flink上写出正确的流SQL。 不会介绍实时计算/Flink SQL的语法细节,关于SQL语法或各内置函数的用法,请参考文档:帮助手册有志于了解FlinkSQL实现
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Red5直播服务器,属于Java语言的直播服务器