Flink入坑指南 第三章:第一个作业
摘要: Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。
Flink接口
Flink支持三种接口,也就是三种写作业的方式:
- SQL:实时计算产品与开源Flink相比,提供更全面的语法支持,目前95%的用户都是使用SQL解决其问题
- TableAPI:表达能力与SQL相同
- DataStream API:底层API,需要一定基础
本系列文章会从流式SQL开始介绍。重点是帮助用户理解批和流SQL的区别,使用户能快速上手,在Flink上写出正确的流SQL。
不会介绍实时计算/Flink SQL的语法细节,关于SQL语法或各内置函数的用法,请参考文档:帮助手册
有志于了解FlinkSQL实现
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Flink入坑指南 第二章 - 从一个需求开始
Flink入坑指南系列文章,从实际例子入手,一步步引导用户零基础入门实时计算/Flink,并成长为使用Flink的高阶用户。本文属个人原创,仅做技术交流之用,笔者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。 从一个需求开始 小明是一个电商平台的数据开发工程师,在其公司的电商平台上,分了很多类目,每个类目有很多店铺。整个公司的数据链路如下: 蓝色链路为日志点击链路,每次用户从手机端/PC端发起的浏览网页请求,都会被发送到kafka里,然后被持久化到HDFS上,供数据分析。 黄色链路交易链路,每次用户下单交易都会进入MySQL业务库。每天凌晨,MySQL库的数据都会被同步到Hadoop中。 Hadoop的HDFS上,保存了该公司产生的所有数据,包括交易数据和点击数据。 在很长一段时间内,小明老板每天早上都会看一下整个平台业务运营报表,
- 下一篇
云HBase备份恢复,为云HBase数据安全保驾护航
云HBase发布备份恢复功能,为用户数据保驾护航。对大多数公司来说数据的安全性以及可靠性是非常重要的,如何保障数据的安全以及数据的可靠是大多数数据库必须考虑的。2016 IDC的报告表示数据的备份(data-protection)和数据恢复(retention)是Nosql的最基础的需求之一。 为什么需要云HBase备份恢复? 我们希望云HBase支持备份和恢复功能,主要原因: 用户直接访问操作数据库,可能存在安全风险; 项目存在合规以及监管的强需求; 对数据库恢复数据到任意时间点(归档到任意时间点)需求; HBase社区至今没有release备份恢复功能。 1、用户直接访问数据库,存在安全风险 用户通过接口直接访问HBase数据库,这种情况下存在安全隐患的概率会比较大。一种可能性是黑客会通过黑客技术入侵数据库,对用户的数据进行
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Hadoop3单机部署,实现最简伪集群
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Windows10,CentOS7,CentOS8安装Nodejs环境