阿里自研实时计算平台支撑双十一
本文讲的是阿里自研实时计算平台支撑双十一阿里巴巴11月7日宣布,其大数据团队自研的实时数据计算平台Galaxy ,目前每秒可运算数据超过500万条,预计双十一当天每秒运算量将超过1000万条,日处理消息数将超过1万亿条。针对每一笔交易数据,系统将实时反复检测70余次以保证数据质量。 一分钟成交破亿,一千多万人涌入天猫。这是2013双十一购物狂欢节第一分钟的战况。这些数据在杭州淘宝城内的数据大屏实时播报。大屏上跳动的每个数字,来自于阿里内部60多个系统间的紧密合作:当你在以最快速度秒杀到双十一热卖商品的同时,这些系统已经完成了无数轮的数据采集、传输、加工、计算以及反馈到页面的工作。这正是阿里未曾公开的技术--如何在保障数据质量的前提下实现实时计算? Galaxy是阿里巴巴自研的通用增量计算平台,能提供从分钟级别到秒级别、甚至毫秒级别延迟的实时数据计算能力。Galaxy解决了计算通用性、开发成本、数据质量等诸多难题,并提供可扩展、规模化的集群服务能力。 目前,Galaxy每秒可计算数据已达500万条,每日处理的记录数超过2500亿,日处理数据量近2PB。想象一下:当你还在努力算出1024...