数仓大法好！跨境电商 Shopee 的实时数仓之路-低调大师

数仓大法好！跨境电商 Shopee 的实时数仓之路

2020-06-16 1065

作者：黄良辉

本文讲述 Flink 在 Shopee 新加坡数据组（Shopee Singapore Data Team）的应用实践，主要内容包括：

实时数仓建设背景

Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景

实时任务监控

Streaming SQL 平台化

Streaming Job 管理

未来规划优化方向

建设背景

Shopee 是东南亚与台湾领航电商平台，覆盖新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国及越南七大市场，同时在中国深圳、上海和香港设立跨境业务办公室。

Shopee在2020年第一季的总订单量高达4.298亿，同比增长111.2%。
根据App Annie， Shopee在 2020年第一季强势跻身全球购物类 App下载量前三名。
同时斩获东南亚及台湾市场购物类 App 年度总下载量、平均月活数、安卓使

微信关注我们

原文链接：https://yq.aliyun.com/articles/765329

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flink 在快手实时多维分析场景的应用

作者：董亭亭、徐明摘要：作为短视频分享跟直播的平台，快手有诸多业务场景应用了 Flink，包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。主要内容包括： Flink 在快手应用场景及规模快手实时多维分析平台 SlimBase-更省 IO、嵌入式共享 state 存储 Tips：点击下方链接可查看作者原版PPT及分享视频～ https://ververica.cn/developers/flink-forward-asia-2019/ Flink 在快手应用场景及规模首先看 Flink 在快手的应用场景和规模。 1. 快手应用场景快手计算链路是从 DB/Binlog 以及 WebService Log 实时入到 Kafka 中，然后接入 Fli

2020-06-17

864

阿里云618活动（6.1-6.30）火热进行中，发亿元 “上云消费券”——来活动会场立领618大礼包。活动入口>>> 越来越多企业开始重视业务的在线化和云化，以降本提效、增加业务弹性。年中的618，与年末的双11，在国内云计算市场也已经形成一腰一尾两次价格谷底。现在正是时候上云升级你的数字基建，准备下半年打一个漂亮的翻身仗。除了主流产品超级好价，这次会场特别甄选了超低门槛的入门级产品，为企业的初次上云“减负”。以下是我们为你梳理的阿里云618全场看点：看点1：最高12000元消费券本次活动的会场简单易逛，进场首先领上云大礼包，满千元购物车立减权益，最高12000元补贴。而这个权益与大部分会场的云产品是可以叠加使用的，并且新老用户均能领取。看点2：云服务器低至89.8元狂甩价弹性、稳定、安全的ECS入门款1核2G，低至89.8元（0.88折），不愧为性价比之王，个人开发者建站必备，是你迈出上云第一步的最好机会。而主流机型如ECS计算型c5，2核4G包年也有低至2.6折的好价。初次上云的用户还有免费试用机会。看点3：企业应用解决企业全方位需求阿里云日益丰富了...

2020-06-18

644

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。