最佳实践 | Flink Forward 全球会议抢先看！-低调大师

最佳实践 | Flink Forward 全球会议抢先看！

2020-04-18 659

来了！我们把 Apache 顶级项目盛会搬到线上，4月25-26日，Flink Forward 全球在线会议精华版直播将正式上线，该系列直播均为中文版，精选大会优质内容由 Apache Flink 核心贡献者们对原版英文 talk 进行翻译及解说，您可直接免费在线观看！

那么，这场直播究竟有哪些值得期待的精彩内容？Flink 社区将按照会议议程安排，以半天为单位详细介绍每场直播的核心内容及亮点。

4/25 10:00-12:00,直播看什么

圆桌 | Keynote Session by Ververica

去年 Flink Forward Asia，Stephan 现场分享了他对 Flink 作为应用服务场景（Applications and Services）通用引擎的展望和规划。简而言之，他认为 Flink 除了能够做到批流一体，Flink 框架对于事件驱动的在线应用也可以有效甚至更好的支持。

本次 Flink Forward 全球在线会议由 Stephan 和 Konstantin 共同分享，他们又将公布哪些社区最新动向？作为此次直播的神秘 talk，请一起期待直播解说！

分享嘉宾：

Konstantin Knauf，Ververica Platform 产品负责人。
Stephan Ewen，Apache Flink PMC Chair，Ververica Co-founder，CTO。

解说嘉宾：

李钰（绝顶），Apache Flink Committer，Apache Flink 1.10 Release Manager，阿里巴巴高级技术专家。

圆桌 | Keynote:Splunk 数据基础架构的发展

过去的几年里几乎所有的数据处理都已经从批处理转移到流处理。这不仅是由低延迟需求所驱动，还在于从根本上理解流对于数据处理而言是更有效的原语，能够为各种下游系统和服务提供更好的适配。

像许多其他公司一样，Splunk 一直在发展其核心数据基础结构，以更好地提供一个更简单，更一致的编程模型，解决数据的正确性和延迟问题，并允许与我们的数据平台建立更开放的集成模型。在整个过程中，我们一直将 Apache Flink 视为核心数据基础架构中的关键骨干。加入我们，详细了解我们的数据基础架构以及我们如何思考它的根本变化。

分享嘉宾：

Eric Sammer，Cloudera 的早期成员，Rocana 创始人（已被 Splunk 收购），Splunk 的杰出工程师，“Hadoop Operations”作者。

解说嘉宾：

王治江（淘江），Apache Flink 1.11 Release Manager，阿里巴巴高级技术专家。

圆桌 | Lyft: 基于 Flink 的准实时海量数据分析平台

在本次分享中，我们将介绍 Lyft 的流式数据分析平台，该平台支持每天实时处理数千亿个事件。在我们的设计中，Flink 充当了在线流式处理和离线批处理之间的桥梁。

Flink 集群负责从 pubsub 系统中提取事件，进行批量编码，并将其上传到持久性存储，如 AWS S3。我们将讨论摄取的数据如何通过 Presto 引擎提供交互式查询，如何使用 Flink 事件时间来驱动分区感知和下游 ETL。我们还将分享在迁移期间缩短停机时间和保持数据质量的策略、从不可预测的系统停机中恢复，以及从扩展数据管道中获得的经验教训。

分享嘉宾：

徐赢博士， Lyft 数据平台流媒体平台的技术领导（Technical Lead）。
Kailash Hassan Dayanand，在构建数据基础架构，搜索基础架构和计算机视觉系统方面拥有 5 年以上丰富经验。

解说嘉宾：

王阳（亦祺），阿里巴巴技术专家。

演讲 | 微博基于 Flink 的机器学习实践

本次 talk 将分享微博是如何使用 Flink 在微博推荐系统中进行实时处理和在线机器学习的应用实践。主要内容如下：

微博机器学习平台简介
Flink 在微博机器学习平台的应用

在线训练流程
样本生成：多流 Join 问题
深度学习特征生成：在线推理

后续与 Flink 相关的计划

分享嘉宾：

于茜，微博机器学习研发中心高级算法工程师。多年来致力于使用 Flink 构建实时数据处理和在线机器学习框架，有丰富的社交媒体应用推荐系统的开发经验。
曹富强，微博机器学习研发中心系统工程师。现负责微博机器学习平台数据计算模块。主要涉及实时计算 Flink，Storm，Spark Streaming，离线计算 Hive，Spark 等。目前专注于 Flink 在微博机器学习场景的应用。

Flink Forward 全球在线会议中文精华版

最佳观看方式

本次直播将在 Flink Forward 中文版大会官网进行，点击「阅读原文」或复制下方官网链接了解更多详情，注册登陆后即可预约直播观看。届时，社区将提前以短信通知的形式提醒大家参与。

大会官网直播预约：
https://developer.aliyun.com/topic/ffsf2020

预约成功后显示如下：

完整版议程

Flink Forward 全球直播精华版共分为 Keynote 重点议题、Flink 最佳实践、深度技术应用、社区生态四部分，形式上由北京、上海、杭州三地轮流直播，在这里您将通过多样化场景的实践案例了解 Flink 核心优势及未来发展。

■ 直播时间：4月25-26日

■ 分享嘉宾：

Apache Member、Flink PMC
Apache Flink 核心贡献者
大厂一线技术专家

■ 详细议程：

（最终议题以实际为准）

4月25-26日，锁定 Flink Forward 全球直播中文精华版！了解更多大会详情，可钉钉扫描下方二维码进群咨询～

如果您对大会实时英文直播感兴趣，点击下方链接可了解 Flink Forward Virtual Conference 2020 大会完整版议程详情及注册预约！

https://www.flink-forward.org/sf-2020/conference-program

微信关注我们

原文链接：https://yq.aliyun.com/articles/756161

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

日志服务导入MaxCompute数据实战

简介日志服务（Log Service，简称 SLS）是针对日志类数据的一站式服务，在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能，提升运维、运营效率，建立 DT 时代海量日志处理能力。将MaxCompute 中的数据导入到日志服务，利用日志服务的查询和可视化功能，对数据进行分析和可视化展示，使用数据加工对数据进一步处理，充分发掘数据的价值。日志服务提供的数据导入功能，支持从OSS，MaxCompute，Kafka等数据源同步数据。使用数据导入同步数据具备如下的优势：配置简单，用户仅需在日志服务控制台完成简单配置即可实现导入。导入服务完全由日志服务托管，无需运维。支持动态水平扩展，根据用户的数据量自动分配资源，实现快速导入。日志服务基本概念日志：日志服务中处理的最小数据单元，每行日志包含日志发生时间和一组key-value 均为字符串格式的字段列表。项目（Project）：日志服务中的资源管理单元，用于资源隔离和控制，管理着用户的所有日志库等资源。日志库（Logstore）：日志数据的采集、存储和查询单元。每个...

2020-04-19

664

微博机器学习平台使用 Flink 实时处理用户行为日志和生成标签，并且在生成标签后写入存储系统。为了降低存储系统的 IO 负载，有批量写入的需求，同时对数据延迟也需要进行一定的控制，因此需要一种有效的消息聚合处理方案。在本篇文章中我们将详细介绍 Flink 中对消息进行聚合处理的方案，描述不同方案中可能遇到的问题和解决方法，并进行对比。基于 flatMap 的解决方案这是我们能够想到最直观的解决方案，即在自定义的 flatMap 方法中对消息进行聚合，伪代码如下：对应的作业拓扑和运行状态如下：该方案的优点如下：逻辑简单直观，各并发间负载均匀。 flatMap 可以和上游算子 chain 到一起，减少网络传输开销。使用 operator state 完成 checkpoint，支持正常和改并发恢复。与此同时，由于使用 operator state，因此所有数据都保存在 JVM 堆上，当数据量较大时有 GC/OOM 风险。使用 Count Window 的解决方案对于大规模 state 数据，Flink 推荐使用 RocksDB backend，并且只支持在 Keyed...

2020-04-20

535

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。