如何扛住1.8亿/秒的双11数据洪峰？阿里流计算技术全揭秘-低调大师

如何扛住1.8亿/秒的双11数据洪峰？阿里流计算技术全揭秘

2017-11-20 617

双11刚刚拉下帷幕，激动的心还停留在那一刻：

当秒针刚跨过11号零点的一瞬间，来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页，再到下单付款一气呵成。

前台在大家狂欢的同时，后台数据流量也正以突破历史新高的洪峰形式急剧涌入：

支付成功峰值达 25.6 万笔／秒
实时数据处理峰值 4.72亿条/秒

而作为实时数据处理任务中最为重要的集团数据公共层（保障着业务的实时数据、媒体大屏等核心任务），在当天的总数据处理峰值更是创历史新高达1.8亿/秒！想象下，1秒钟时间内千万人涌入双11会场的同时，依然应对自如。

流计算的产生即来源于数据加工时效性的严苛需求：

由于数据的业务价值会随着时间的流失而迅速降低，因此在数据发生后必须尽快对其进行计算和处理，从而能够通过数据第一时间掌握业务情况。今年双11的流计算也面临着一场实时数

微信关注我们

原文链接：https://yq.aliyun.com/articles/259149

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Linux上的SQL Server的起步

我们知道，几个星期前，微软发布了在Linux上直接运行的SQL Server第一个公开CTP版本！因此，对我来说，是时候跨界在Linux上安装我的第一个SQL安装，这样的话，我就可以在Linux上折腾SQL Server。在这篇文章里，我想给你概括讲下在Linux上，SQL Server的起步是怎样的。架构在我们谈论Linux上的SQL Server的细节之前，我想花几分钟时间谈下微软如何实现在Linux上运行SQL Server。当微软首次公开声称它们在Linux上运行SQL Server的安装，每个人都会认为SQL Server只是移植到Linux。SQL Server已经通过SQLOS抽象了一些底层操作系统的功能，因此这会有用，但意味着微软需要维护不同的代码库（一个Windows，一个Linux）。我们都同意这是不可行的。为了解决这个问题，现在微软在Linux上运行基于Windows的未修改代码。微软做了如下举动： ”我们在SQLPAL上嵌入Linux进程运行经典的Windows版的SQL Server，即从Drawbridge（吊桥）演变。”——Slava Oks: SQ...

2017-11-20

508

如果我们回顾一下近期网络安全领域出境率最高的词汇， NP一定榜上有名。 NP是网络处理器（Net Processor）的简称，顾名思义，NP是专门设计用于网络封包处理的一种处理器，做为被业内普遍推崇的一种革命性技术，NP至今尚未能达到人们预期的应用水平；做为NP技术的主要目标客户群，通信厂商们的态度正由热捧回归冷静，而在网络安全设备特别是硬件防火墙市场上，NP的应用却正呈现出一片欣欣向荣的景象，继2004年4月中科网威发布了国内首款基于NP架构的硬件防火墙之后，国内的大部分重量级防火墙厂商纷纷推出了自己的NP架构防火墙产品，而做为占据国内防火墙市场头把交椅的东软，更是将自己的主力产品全部转向NP平台。为了能够透彻的了解NP在防火墙领域造成的这种强大的冲击效应，我们需要先来回顾一下防火墙硬件平台的基本情状。在过去的几年时间里，市场上硬件防火墙产品通常都基于两种架构：AISC（专用集成电路）和以X86为代表的通用处理器。可以说，AISC是硬件防火墙领域无可争议的主流技术，因为利用这种硬件架构可以获得相当高的性能和稳定性，全球最主要的硬件防火墙产品供应商NetScreen就一直推崇以AIS...

2017-11-20

582

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。