Flink 的经典场景和业务故事有哪些?看看他们就知道了
在大数据的日常场景中,从数据生产者,到数据收集、数据处理、数据应用(BI+AI),整个大数据 + AI 全栈的每个环节,Flink 均可应用于其中。作为新一代开源大数据计算引擎,Flink 不仅满足了工业界对实时性的需求,还能够打通端到端的数据价值挖掘全链路。
如今,Flink 在大数据各个环节的应用几何?究竟能带来怎样重大的价值?未来,Flink 还会朝着哪些方面进化?
4月25-26日,全球首个 Apache 顶级项目在线会议 Flink Forward 中文精华版将正式开播,聚焦 Alibaba、 Google、AWS、Uber、Netflix、DellEMC、微博、滴滴等各大互联网公司实时计算的经典场景和业务故事,以超强阵容、优质议题普惠全球开发者!精华版内容均为中文,由 Flink 核心贡献者们对原版英文 talk 进行翻译和解说,您可免费在线观看。
大会亮点:
- 全程中文详细解说,多位 Flink PMC、Committer、一线技术专家等重量级嘉宾对 18 个优质 talk 进行中文解说,让您理解更清晰、透彻。
- 多角度了解 Flink 最新动向,大会内容从技术深度、社区生态、未来发展等方面扩展,与您分享 Flink 长期规划的 Roadmap。
- 丰富的国内外一线企业经典场景与业务故事,生产环境的宝贵实战经验分享。
- 多种 Flink 周边礼品,参与直播互动即可赢取社区周边大礼包。
此前,小松鼠已详细介绍了4月25日上午北京场、下午杭州场的直播议程,以下将分享4月26日上海场有哪些值得期待的内容。
4/26,上海场直播看什么
圆桌 | Keynote: Stream analytics made real with Pravega and Apache Flink
随着流式应用程序的发展,其支持系统也不断更新迭代。当今的应用程序不再是孤岛,而都是生态系统的一部分。因此市场对于流系统和平台提供的功能期望比以往更加严格。考虑到这些要求,我们设计并构建了 Pravega。
Pravega 是以流作为核心的原生流存储系统。Pravega 能够支持应用程序通过灵活且一致的方式注入和存储无限的数据流。将 Pravega 与 Apache Flink 相结合,我们可以构建数据流水线去同时跟踪和处理历史和实时数据,并且满足端到端的 exactly-once 语义。Pravega 和 Apache Flink 已成为 Dell Technologies 的 Streaming Data Platform 产品重要组成部分。本次演讲我们将和大家分享相关实践经验,包括实时视频流分析,自动驾驶的真实用例。
分享嘉宾:Srikanth Satya,Dell Technologies Vice President,Engineering。
解说嘉宾:滕昱,戴尔科技集团软件开发总监。
圆桌 | Google: 机器学习工作流的分布式处理
生产环境下机器学习流程通常需要非常大的计算和系统资源,需要在集群上进行分布式处理。本地或基于云基础架构的成本需要最大程度地高效利用资源,这使得诸如 Apache Flink 之类的分布式处理管道框架非常适合机器学习的工作流。
与此同时,生产环境下机器学习还必须解决现代软件方法论问题以及一些特有问题;不同类型的机器学习有不同的要求,通常是由不同的数据生命周期和事实来源驱动;实现常常遭受模块化,可伸缩性和可扩展性的限制。本次演讲中,我们会讨论生产环境下机器学习的应用程序,并回顾TensorFlow Extended(TFX),Flink,Apache Beam 和 Google 在生产中使用机器学习的经验。
分享嘉宾:
- Ahmet Altay,Google 高级软件工程师,Apache Beam PMC。
- Reza Rokni,Google Cloud Dataflow 和 Apache Beam 的开发倡导者。
- Robert Crowe,Google 数据科学家和 TensorFlow 爱好者。
解说嘉宾:秦江杰,Apache Flink PMC,阿里巴巴高级技术专家。
圆桌 | AWS: 如何在全托管 Apache Flink 服务中提供应用高可用
AWS 为客户提供了一个完全托管的服务,用于运行 Apache Flink 应用程序 Amazon kinisis Data Analytics。在为客户提供服务的过程中,我们也面临着独特的挑战。其中一个挑战就是问题归属。如何确定运行时错误是由客户代码中的错误引起的,还是由底层基础结构的问题引起的?
在本次演讲中,我们将描述如何自动分类错误,以及如何通过编程或手动干预来恢复应用程序可用性。这对于我们确保 AWS 服务所期望的应用程序的可用性以及维护可持续的操作是至关重要的。我们还将回顾如何设计改进 Apache Flink 引擎以消除歧义,以及如何确保 Apache Flink 应用程序的高可用性。
分享嘉宾:
- Ryan Nienhuis,AWS 开发工程师。
- Tirtha Chatterjee,AWS 开发工程师。
解说嘉宾:章剑锋(简锋),Apache Member,阿里巴巴高级技术专家。
演讲 | Production-Ready Flink and Hive Integration - what story you can tell now?
本次演讲主要分享 Flink 1.10 中发布的完整 Flink-Hive 集成。将介绍一些常见的用例,其中 Flink 用户需要读写 Hive 数据以及引用 Hive UDF 的功能。为了说明用户如何轻松解决这些问题,我将通过示例详细介绍 Flink-Hive 集成。与会者将能够学习:
- 如何在 Flink 中本地读取和写入 Hive 数据(表,视图,分区)
- Flink 支持的语法和 SQL 命令
- Flink 集成到 Hive 上的优化
- 如何在 Flink中 重用 Hive UDF
分享嘉宾:李博闻,阿里巴巴技术专家。
解说嘉宾:李锐(天离),Apache HBase PMC,阿里巴巴技术专家
Flink Forward 全球在线会议中文精华版
最佳观看方式
本次直播将在 Flink Forward 中文版大会官网进行,点击「阅读原文」或复制下方官网链接了解更多详情,注册登陆后即可预约直播观看。届时,社区将提前以短信通知的形式提醒大家参与。
大会官网直播预约:
https://developer.aliyun.com/live/2594?spm=a2c6h.14242504.J_6074706160.2.3fca361fwj9lT3
预约成功后显示如下:
Tips:社区已准备丰富的周边礼品,参与直播互动、提问即可领取,还有惊喜抽奖环节哦~
完整版议程
Flink Forward 全球直播精华版共分为 Keynote 重点议题、Flink 最佳实践、深度技术应用、社区生态四部分,形式上由北京、上海、杭州三地轮流直播,在这里您将通过多样化场景的实践案例了解 Flink 核心优势及未来发展。
■ 直播时间:4月25-26日
■ 分享嘉宾:
- Apache Member、Flink PMC
- Apache Flink 核心贡献者
- 大厂一线技术专家
■ 详细议程:
(最终议题以实际为准)
4月25-26日,锁定 Flink Forward 全球直播中文精华版!了解更多大会详情,可钉钉扫描下方二维码进群咨询~
如果您对大会实时英文直播感兴趣,点击下方链接可了解 Flink Forward Virtual Conference 2020 大会完整版议程详情及注册预约!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Flink State 最佳实践
本文主要分享与交流 Flink 状态使用过程中的一些经验与心得,当然标题取了“最佳实践”之名,希望文章内容能给读者带去一些干货。本文内容首先是回顾 state 相关概念,并认识和区别不同的 state backend;之后将分别对 state 使用访问以及 checkpoint 容错相关内容进行详细讲解,分享一些经验和心得。 State 概念回顾 我们先回顾一下到底什么是 state,流式计算的数据往往是转瞬即逝, 当然,真实业务场景不可能说所有的数据都是进来之后就走掉,没有任何东西留下来,那么留下来的东西其实就是称之为 state,中文可以翻译成状态。 在下面这个图中,我们的所有的原始数据进入用户代码之后再输出到下游,如果中间涉及到 state 的读写,这些状态会存储在本地的 state backend(可以对标成嵌入式本地 kv 存储)当中。 接下来我们会在四个维度来区分两种不同的 state:operator state 以及 keyed state。 1. 是否存在当前处理的 key(current key):operator state 是没有当前 key 的概念,而 key...
- 下一篇
初探未来十年,Cloudera 对待数据的全新方式
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 1977 年 9 月 5 日,旅行者一号发射升空,携带了一张镀金铜质磁盘唱片记载着人类的声音,科学,影像,音乐,思想和情感,驶入了浩瀚的宇宙。这是人类具有历史意义的一次数据的时空迁移,将数据从地球发向宇宙深处,发送给未来的数据接收者。 时隔 50 多年后的今天,随着计算机技术,传感器技术以及互联网技术的发展,人类的数据总量已经达到了前所未有的规模。数据充斥着每个人的日常生活,对企业的每天都面临着管理数据以及使用数据的挑战。 随着数据规模的指数增长,存储数据的载体,数据的处理技术,数据的使用的方式方法都在不断的演进。企业用户对数据价值的预期也不断增加。因此企业用户期望通过数据能快速带来商业价值,同时对数据的安全,数据隐私与合规等要求越来越高。 根据哈佛的商业评论最近的一份的研究报告显示,越来越多的企业在寻求企业级的成熟稳定的平台解决方案,在完成基本的数据摄取、数据整合批处理以及数据仓库的功能的基础上,还能面向业务人员提供即时互动的分析工具, 以及提供建模、数据科学、机器学习,甚至是一些深度...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装Docker,最新的服务器搭配容器使用
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库