用Flink取代Spark Streaming！知乎实时数仓架构演进-低调大师

用Flink取代Spark Streaming！知乎实时数仓架构演进

2019-06-26 843

作者 | 知乎数据工程团队

“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

本文主要讲述知乎的实时数仓实践以及架构的演进，这包括以下几个方面：

实时数仓 1.0 版本，主题：ETL 逻辑实时化，技术方案：Spark Streaming。
实时数仓 2.0 版本，主题：数据分层，指标计算实时化，技术方案：Flink Streaming。
实时数仓未来展望：Streaming SQL 平台化，元信息管理系统化，结果验收自动化。

实时数仓 1.

微信关注我们

原文链接：https://yq.aliyun.com/articles/706633

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxCompute客户端(odpscmd)在windows命令行下查询中文乱码问题处理实践

MaxCompute客户端工具是阿里云大数据计算服务MaxCompue产品官方客户端工具，通过客户端工具可以连接MaxCompute项目，完成包括数据管理、数据上下传、作业执行、用户及授权管理等各项操作。但有用户会碰到在Windows下的命令行中执行odpscmd后，查询包含中文字符的表数据时出现乱码的情况，本文将给出问题分析和解决方法，帮助大家快速处理这样的问题。问题描述：Windows用户下载配置配置客户端（odpscmd）后，在查询包含中文字符的表数据时，会出现乱码情况，如下图所示：问题分析：MaxCompute对中文默认使用utf-8字符集的编码方式，客户端乱码的原因是因为用户访问的客户端侧（也就是windows下的cmd命令行）没有使用utf-8对查询反馈的字符进行解析展示，所以需要查看cmd的当前显示字符设置是否为ut

2019-06-26

740

点击订阅云栖夜读日刊，专业的技术干货，不容错过！阿里专家原创好文 1.Spark内置图像数据源初探作者：林武康，花名知瑕, 阿里巴巴计算平台事业部EMR团队的高级开发工程师，Apache HUE Contributor, 参与了多个开源项目的研发工作，对于分布式系统设计应用有较丰富的经验，目前主要专注于EMR数据开发相关的产品的研发工作。阅读更多》》 2.MaxCompute 费用暴涨之新增SQL分区裁剪失败一篇干货好文，值得一读！阅读更多》》 3.Linus 本尊来了！为什么 KubeCon 越来越火？从200人的小会议到3500 多位云原生和开源领域工程师齐聚一堂的大会，KubeCon 只用了四年，昨天，在KubeCon China 2019 上阿里巴巴宣布开源 OpenKruise，今天，Linus 本尊竟然现身会场！现在，我们继续连线会场，探索阿里云为开发者带来的多份重磅献礼。阅读更多》》 4.Flutter for Web 详细预研 Google在最新的Google I/O上推出了Flutter for Web，旨在进一步解决一次代码，多端运行的问题。Flutter ...

2019-06-27

694

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。