阿里云与天猫双11这十年-低调大师

阿里云与天猫双11这十年

2018-11-13 591

2009年，发生了两件看似不起眼的事。

初春刚过，阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。

同年11月11日，淘宝商城启动了一个叫做双11的促销活动。

谁也没想到，多年以后他们会是现在这模样。

前传

2007年淘宝的交易额突破了400亿，技术团队却喜忧参半：现有集中式架构已经捉襟见肘，该如何应对？

随即启动的分布式改造获得巨大成功，淘宝所有的业务都做了模块化。

尽管这次技术升级在现在看来存在诸多局限性：更多的是为了应对不断增多的图片缓存，在CDN端对海量的图片缓存做了一些限流操作。但就是这次改造成就了历史上第一个双11，2009年双11当天的流量达到了一个高峰，在旧的架构体系下，这几乎是一项不可能完成的任务。

一年后，飞天的第一个版本上线，仅有几十台机器的集群开始服务第一个内部客户——阿里金融。

这些探索让所有人看到了一个趋势：用分布

微信关注我们

原文链接：https://yq.aliyun.com/articles/669041

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark比拼Flink：下一代大数据计算引擎之争，谁主沉浮？

下一代大数据计算引擎# 自从数据处理需求超过了传统数据库能有效处理的数据量之后，Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Google 发表 MapReduce 论文开始，经过近 10 年的发展，基于 Hadoop 开源生态或者其它相应系统的海量数据处理已经成为业界的基本需求。但是，很多机构在开发自己的数据处理系统时都会发现需要面临一系列的问题。从数据中获取价值需要的投入远远超过预期。常见的问题包括：非常陡峭的学习曲线。刚接触这个领域的人经常会被需要学习的技术的数量砸晕。不像经过几十年发展的数据库一个系统可以解决大部分数据处理需求，Hadoop 等大数据生态里的一个系统往往在一些数据处理场景上比较擅长，另一些场景凑合能用，还有一些场景完全无法满足需求。结果就是需要好几个系统来处理不同的场景。上图是一个典型的 lambda 架构，只是包含了批处理和流处理两种场景，就已经牵涉到至少四五种技术了，还不算每种技术的可替代选择。再加上实时查询、交互式分析、机器学习等场景，每个场景都有几种技术可以选择，每个技术涵盖的领域还有不同方式的重叠。结...

2018-11-14

647

前言# 当前，流数据平台的普及率正在飙升。为了解决日益增长的实时数据处理需求，一些公司正在将其部分大数据基础架构转换为流式处理模型。基于流数据的基础架构不仅能够更好地解决延迟敏感的数据处理业务需求，同时提供更多深入业务洞察 ; 另外，流式数据处理平台让传统的数据仓库建设更加简单灵活。流式基础架构的关键部分是流计算引擎。优秀的流式计算引擎可以让业务即使在有状态计算的情况下，也能提供低延迟、高吞吐、强一致性。在本文中，我们将深入探讨 Flink 的检查点机制如何工作，以及它如何取代旧架构以实现流容错和恢复。我们测量 Flink 在各种类型的流媒体应用程序中的性能，并通过在 Apache Storm（一种广泛使用的低延迟流处理器）上运行相同系列的实验来进行效果对比。流式处理架构演化# 在流式计算领域，同一套系统需要同时兼具容错和高性能其实非常难。在传统的批处理中，当作业失败时，可以简单地重新运行作业的失败部分以修复由于之前失败导致的数据丢失。这对于批处理是完全可行的，因为批处理的数据是静态的，可以从头到尾重放。在连续的流式处理模型中，这种处理思路是完全不可行的。原则上，数据...

2018-11-14

568

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。