比世界纪录快3倍阿里云377秒完成100TB数据排序-低调大师

比世界纪录快3倍阿里云377秒完成100TB数据排序

2017-09-03 521

本文讲的是 比世界纪录快3倍阿里云377秒完成100TB数据排序，10月28日，Sort Benchmark在官方网站公布了2015年排序竞赛的最终成绩。阿里云用不到7分钟（377秒）就完成了100TB的数据排序，打破了Apache Spark的纪录23.4分钟。Sort Benchmark是全球科技公司的计算奥运会，更早之前Hadoop的记录是72分钟。

Sort Benchmark的排序竞赛包含4项比赛，其中GraySort和MinuteSort主要评测计算系统的规模和效率，是4项比赛中含金量最高的两项。每一项比赛又分通用目的排序（Daytona）和专用目的排序（Indy）两个类别。阿里云飞天分布式计算系统，在这两项重量级比赛中打破了全部4项世界纪录。

GraySort评测的是超大规模数据量排序的速度。飞天用了377秒对100TB数据完成排序，也就是说1分钟能够完成15.9TB的数据排序。去年Apache Spark成绩为4.35TB/分钟。MinuteSort评测的是系统在1分钟内能够完成排序的数据量。飞天用1分钟完成了对7.7TB数据的排序，去年冠军三星为3.7TB。

阿里云首席架构师唐洪表示，排序是最基础的计算问题。100TB排序，是把1万亿条无规律的100字节纪录，严格按照从小到大的顺序排序，考验分布式系统中存储、调度、通信等各个子系统的性能，能够反映出一个平台的整体计算能力。GraySort和MinuteSort这两项比赛，充分证明了阿里云在计算方面的核心能力。“未来视频、音频数据、生物数据等非结构化数据将爆发式增长，我们需要在最短的时间、用最小的资源计算准确。面对大数据，如何算得快、算得准、算得起？这是未来云计算的核心能力。”

Sort Benchmark是一个专门从事排序基准评估的非盈利机构，该机构每年都会举办一次国际顶级排序基准评估比赛，被认为是计算界的奥运会。全球顶尖公司和学术机构都会带着他们最新的研究成果来参加，以评估他们的研究成果。

原文发布时间为：十月 28, 2015
本文作者：aqniu
本文来自云栖社区合作伙伴安全牛，了解相关信息可以关注安全牛。
原文链接：http://www.aqniu.com/industry/11226.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/217142

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从新加坡“智慧国2025”看大数据治国

去年，戴尔公司曾经做过一个有关科技改善人和企业表现的调查报告，结果显示新加坡表现突出，综合排名全球第三，仅次于美国加利福尼亚州圣何塞和旧金山，在纽约和悉尼等城市之前，说明新加坡的科技水平不容小觑，在科技促进人与企业表现方面，更是表现卓越。早在2006年，新加坡就推出了一项名为“智能城市2015”的信息化计划，这个为期十年的发展蓝图，目的是要通过大力发展ICT产业，应用ICT技术提高关键领域的竞争力，将新加坡建设成为由ICT技术驱动的智能城市。经过十年的努力，新加坡于2014年将该发展蓝图升级为“智慧国2025”，计划用接下来的十年将新加坡建设成为智慧国度，这是全球第一个智慧国家发展蓝图。可见，新加坡在智慧化方面的政策不但具有前瞻性，并且持续进化。 “智慧国”发展蓝图充分意识到了未来“大数据”的重要性，如果说上一个十年计划解决的是信息技术设施，那么未来十年将侧重大数据的收集、处理和分析应用，也就意味着新加坡将成为利用“大数据治国”的国家。根据去年世界经济论坛发布的《全球信息技术报告》，在有关网络就绪的四大分类指标中，新加坡有3项排名世界第一，分别是信息环境、使用状况以及影响。由此可见，...

2017-09-04

402

9月7日，惠州交警与高德地图联合签署了战略合作协议，正式入驻高德地图“交警平台”。这一便民新举措，标志着惠州交警智能交通管理水平和信息化服务水平的进一步提高，将全面提升惠州道路交通运行能力和市民便捷出行体验感受。即日起，惠州市民便可通过最新版高德地图，获取惠州交警权威发布的实时交通信息，如重大交通事故、道路施工等，实现智能避开拥堵路段。本次惠州交警与高德地图签署的战略合作协议主要围绕数据资源融合与共享、实时交通数据分析、交通信息公众服务、重大节假日交通预测等几个方面展开。通过合作，惠州交警将为高德地图提供更加权威的信息数据，为市民提供更加全面便利的交通信息服务;而高德地图则将运用阿里云、大数据分析和人工智能等领域的技术，协助惠州交警实现宏观决策、信息化管理和精准治理。在交通数据共享方面，惠州交警将提供全市范围内交通事件信息、交通管制信息、交通事故信息、道路交通视频/图像、电子警察、卡口流量数据等权威交通数据，而高德地图则提供出租车、车载导航、行车记录仪等数据，通过互联网数据和交管数据的整合，进行大数据的挖掘，形成更加准确和实时的路况，从而反馈到高德地图，为用户实现最优的避开拥堵服...

2017-09-04

484

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。