全球计算奥运会阿里云破四个世界纪录-低调大师

全球计算奥运会阿里云破四个世界纪录

2017-09-24 618

本文讲的是全球计算奥运会阿里云破四个世界纪录【IT168 云计算】10月28日，Sort Benchmark在官方网站公布了2015年排序竞赛的最终成绩。阿里云用不到7分钟(377秒)就完成了100TB的数据排序，打破了Apache Spark的纪录23.4分钟。Sort Benchmark是全球科技公司的计算奥运会，更早之前Hadoop的记录是72分钟。

　　Sort Benchmark的排序竞赛包含4项比赛，其中GraySort和MinuteSort主要评测计算系统的规模和效率，是4项比赛中含金量最高的两项。每一项比赛又分通用目的排序(Daytona)和专用目的排序(Indy)两个类别。阿里云飞天分布式计算系统，在这两项重量级比赛中打破了全部4项世界纪录。

　　GraySort评测的是超大规模数据量排序的速度。飞天用了377秒对100TB数据完成排序，也就是说1分钟能够完成15.9TB的数据排序。去年Apache Spark成绩为4.35TB/分钟。MinuteSort评测的是系统在1分钟内能够完成排序的数据量。飞天用1分钟完成了对7.7TB数据的排序，去年冠军三星为3.7TB。

　　阿里云首席架构师唐洪表示，排序是最基础的计算问题。100TB排序，是把1万亿条无规律的100字节纪录，严格按照从小到大的顺序排序，考验分布式系统中存储、调度、通信等各个子系统的性能，能够反映出一个平台的整体计算能力。GraySort和MinuteSort这两项比赛，充分证明了阿里云在计算方面的核心能力。“未来视频、音频数据、生物数据等非结构化数据将爆发式增长，我们需要在最短的时间、用最小的资源计算准确。面对大数据，如何算得快、算得准、算得起?这是未来云计算的核心能力。”

　　Sort Benchmark是一个专门从事排序基准评估的非盈利机构，该机构每年都会举办一次国际顶级排序基准评估比赛，被认为是计算界的奥运会。全球顶尖公司和学术机构都会带着他们最新的研究成果来参加，以评估他们的研究成果。

原文发布时间为：2015-10-28

本文作者：张苗苗

本文来自云栖社区合作伙伴IT168，了解相关信息可以关注IT168

原文标题：全球计算奥运会阿里云破四个世界纪录

微信关注我们

原文链接：https://yq.aliyun.com/articles/218975

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache基金会接受阿里开源JStorm捐赠

本文讲的是Apache基金会接受阿里开源JStorm捐赠【IT168云计算】11月19日，阿里巴巴集团宣布正式加入Apache基金会，并向Apache基金会捐赠开源项目JStorm。JStorm正式成为Apache Storm里的子项目。JStorm将在 Apache Storm里孵化，孵化成功后会成为Apache Storm主干。 Apache基金会官方表示，非常高兴JStorm能够成为Apache Storm社区的一员。JStorm是由阿里巴巴开源的实时计算系统，它使用Java语言代替Clojure语言重写了Apache Storm，并在原来的基础上做了诸多性能和功能的优化。 JStorm团队在开源领域屡获殊荣经过4年发展，阿里巴巴JStorm集群已经成为世界上最大的集群之一，基于JStorm的应用数量超过1000个。数据显示，JStorm集群每天处理的消息数量达到1.5PB。阿里巴巴共享事业部高级技术专家封仲淹介绍，得益于阿里巴巴内部业务应用的磨练，JStorm平台发展得越来越快。最近两年，JStorm增加了Backpressure，Dynamic HighLevel Bat...

2017-09-24

560

Spark官方网站 http://spark.apache.org Spark通用性解释 Spark的特点官方网站都有。目前支持Java,Scala, Python，R。推荐使用Java和Scala，spark2中对python的支持不够好。 Spark的数据源 HDFS， HBase， Cassandra（类似于hbase数据库，国外用的多） Hive， Tachyon（基于内存的分布式的文件系统, 阿里出的http://www.alluxio.org/，比较重要） Spark的四种部署模式 hadoop 模式（spark on yarn）。用yarn来管理spark的资源，也是国内用的最多的模式。 Mesos模式。Mesos一个类似于yarn的资源管理器，国内用的少，国外多。 Standalone模式。上面两种都不是自己管理资源，使用第三方来管理，而standalone模式是spark自己来管理资源，多内用的比较多部署到云端验证集群是否好用验证spark集群是否可用 ./bin/spark-submit --class org.apache.spark.examples.S...

2017-09-24

819

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。