实时离线融合在唯品会的进展：在实时技术、数据、业务中寻找平衡-低调大师

实时离线融合在唯品会的进展：在实时技术、数据、业务中寻找平衡

2017-08-01 648

实时大数据分析是指对规模巨大的数据进行分析，利用大数据技术高效的快速完成分析，达到近似实时的效果，更及时的反映数据的价值和意义。

所有人都能理解数据的时效性对于数据的价值至关重要。以唯品会为例，唯品会已经有一整套非常成熟的离线数据仓库系统。这套系统对于业务有非常大的指导意义，但目前碰到的问题是如何将各种计算、报表加速，从原来天级别、小时级别，加速到近实时来。

这是我们开始实时离线融合这个项目的缘由。该工作我们是从 2016 年下半年开始的，到目前为止它仍然只是一个半成品，因此这里面包含的很多内容并不是最终的结论，在多数情况下，它仅仅是以唯品会的特点为基础，而不一定能无缝地适用于其他公司产品。我们希望抛砖引玉，对大家有所俾益。

1. 时效性与大数据

第一个问题是：什么是实时（real-time）? 什么是离线（offline）？很多时候，我

微信关注我们

原文链接：https://yq.aliyun.com/articles/177395

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

百度推出基于AI的情人节主题功能；牛津大学2017自然语言处理课程公开（附视频及PPT） | AI开发者头条

情人节降至，百度推出基于 AI 的魅力值测评和诗歌自动生成主题功能百度搜索在近日推出了基于人工智能技术的“情人节用脸撩，开启桃花运”功能，迎接情人节。用户在百度搜索 App 中需用语音说一句“开启桃花运”即可进入主题页面。该页面包含两大核心功能：一个是“自拍撩汉/妹指数”，即根据照片颜值打分的功能，另一个则是输入姓名/地点后自动生成专属诗歌的功能。详情：http://www.leiphone.com/news/201702/nyTmxpTMd4sRooJX.html 密歇根大学发明超微型深度学习计算机Micro Mote，体积比指甲盖还小，功耗仅288微瓦近期在美国旧金山举办的IEEEE国际固态电路研讨会上（IEEE International Solid-State Circuits Conference ，ISSCC)上，来自美

2017-08-02

595

在当今的大数据世界中，应用程序产生大量的电子数据 – 这些巨大的电子数据存储库包含了有价值的、宝贵的信息。对于人类分析师或领域专家，很难做出有趣的发现或寻找可以帮助决策过程的模式。我们需要自动化的流程来有效地利用庞大的，信息丰富的数据进行规划和投资决策。在处理数据之前，收集数据，聚合和转换数据是绝对必要的，并最终将数据移动到那些使用不同分析和数据挖掘工具的存储库中。执行所有这些步骤的流行工具之一是Apache Flume。这些数据通常是以事件或日志的形式存储。 Apache Flume有三个主要组件： Source：数据源可以是企业服务器，文件系统，云端，数据存储库等。 Sink：Sink是可以存储数据的目标存储库。它可以是一个集中的地方，如HDFS，像Apache Spark这样的处理引擎，或像ElasticSearch这样的数据存储库/搜索引擎。 Channel：在事件被sink消耗前由Channel 存储。 Channel 是被动存储。 Channel 支持故障恢复和高可靠性; Channel 示例是由本地文件系统和基于内存的Channel 支持的文件通道。 Flum...

2017-08-02

528

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。