计算走向商业化的趋势加强,数据存储成为必争之地
本文转自雷锋网,如需转载请至雷锋网官网申请授权。
高性能计算被誉为「国之重器」,近年来在各行各业中的「奠基」角色愈加突出,对生物、机械、材料、气象、海洋、物理、人工智能等不同领域产生了重要的影响。
从CPU的单核到多核,从1978年的x86体系CPU诞生到GPU加速卡、Arm芯片,从HPC云到HPC与大数据、AI的渐趋融合,从国家级重大科研到赋能业务链一环,高性能计算领域一直在不断地变化与发展。
「计算」距离我们的生活也越来越近。
在10月21日至23日于珠海举办的CCF HPC China 2021大会上,我们窥见了高性能计算领域的一些新趋势:
首先,除了国家超算中心,国内超算市场上涌现出越来越多由地方政府或企业主要的超算/智算中心。HPC 2021 大会上出现了诸如北京超级云计算中心、内蒙古高性能计算公共服务平台(青城之光)般优秀的超算中心。
其次,随着可产生数据的设备越来越多,存储设备日益成为高性能计算领域的聚焦点,也成为各大厂商的必争之地。同时,面向数据密集型应用的超算技术开始崭露头角,比如,由CCF高专委发起、陈国良院士作序的《数据密集型超算技术白皮书》,便引起了超算领域的广泛关注。
此外,超算的商业化趋势越来越明显。面向国家级大科研项目以外的中小用户的超算产品呈现上升趋势,超算从实验室走向生产、从科研走向商业,成为时代所趋。
与此同时,大会紧跟国家「十四五」规划与「碳达峰、碳中和」的热点,展示了高性能计算在自主研发日益推进下的重要角色(工业仿真)。在超算技术的发展中,行业先驱者越发重视「低能耗」与「环境友好」,比如联想第五代温水冷服务器。
或许是受到疫情的影响,本次参展的厂商以远近闻名的巨头为主,鲜见小企业的身影。这也再次反映了高性能计算的「高门槛」特征。
AI科技评论联系了华为、联想与戴尔的重要专家,对高性能计算行业的发展现状与趋势进行了精简干练的分析。他们的发言整理如下:
华为公司数据存储与机器视觉产品线解决方案首席架构师陈默:
过去一年全球最重要的事件是抗击疫情,各国纷纷利用超算展开科技抗疫,分析病毒,做好防控。
令我印象最深刻的研究突破是中国医学科学院实现mNGS宏基因组多模态组学数据分析,在完成去人源的基础上与现有新冠病毒库自动比对,识别并预测变异点位,查找变异源序列,结合高清影像、AI算法,对新冠肺炎肺部病灶实现自动标注的对比分析,相同病理变化自动汇集,最终实现对新冠病毒的溯源和智能医学分析。
这一研究成果的突破之处,在于打破了科学计算和大数据分析的边界,通过跨界协同,让国家科技抗疫的能力上了新台阶,充分体现了高性能计算的社会价值。
此外,传统的HPC技术广泛应用于科学研究领域,但是,随着HPC、AI和大数据应用走向融合,我们也看到一些新的变化,如各超算中心的算力广泛应用于国家的疫情防控,风险人员识别;又如越来越的的大企业,如能源行业、制造行业,把HPC作为了企业的生产系统,承担了企业的关键业务。HPC从实验走向生产,从科研走向商业的趋势逐渐明确。
当前,HPC的发展方向主要有两个:一是HPC云,即以云服务的方式提供HPC算力;另一个,则是HPDA,即HPC、AI与大数据技术的融合,也就是「数据密集型超算」。但这个方向在业界的关注度还较低。
我们做过一个统计,近年来新增的超算场景,80%以上都是数据密集型,即参与计算的数据量达到PB级,计算过程中,需要频繁的进行访存操作,而且对于整个计算过程中的数据可靠性和安全性均有较高要求。这说明数据密集型应用已成为超算的主流应用,而如何用得好、用得放心,即将成为超算领域的新热点。
华为在高性能计算领域主要有两个发力方向,一个是算力的多样化,通过鲲鹏和�N腾芯片提供CPU算力与AI算力;另一个则是更多地面向数据密集型应用,通过整合异构算力、高密存储与无损网络的能力,提供数据密集型超算整体方案。
今年的HPC大会上,我们也展示了为数据密集型超算而设计的超高密存储硬件,一款是OceanStor Pacific 9950超高密性能存储节点,在5U的机柜空间里能够提供160GBps的带宽或者200万IOPS,空间性能密度业界最优,另一款OceanStor Pacific 9550超高密容量存储节点,5U的机柜空间能提供超过1.6PB的容量,为海量数据的增长提供弹性灵活的扩容方案。
OceanStor Pacific使用的创新软件框架,通过大小IO自适应数据流、融合非结构化数据索引、超高密硬件和弹性EC算法等技术架构的突破,打破高性能数据分析的性能墙、协议墙和容量墙,一套存储支撑高性能计算、大数据分析、AI计算的混合负载,大幅提升数据分析效率。
联想企业科技集团HPC&AI营销总经理于涛:
过去一年,HPC领域主要展示了两个重要的趋势:
趋势一,新基建下,以地方政府为核心兴建的大型高性能计算中心和智算中心成为新的投资热点,且投资重点逐渐聚焦在融合了人工智能算力的新型智算中心上。
趋势二,在国家「十四五」规划与「双碳」目标的驱使下,高性能计算的技术研发也越来越重视低碳和低能耗。HPC数据中心的能耗被高度关注,且越来越多人提出对PUE指标的要求。液冷正在替代风冷成为HPC数据中心的主流散热技术。数据中心的余热回收也被越来越多的人关注。
联想高性能计算解决方案应用于政府、教育、制造、医疗、金融、能源等,尤其注重HPC与生命科学、工业仿真、金融量化交易与气象等领域的结合。这些应用领域对计算机有着极为苛刻的要求,而联想在水冷技术、作业调度软件与存储方面有独特的技术,可以很好地实现客户对HPC性能或者功耗的要求。
根据最新全球高性能计算机TOP500榜单显示,在全球浮点运算性能最强的500台高性能计算机中,联想入围184台,连续七次蝉联全球高性能计算提供商份额第一名。联想HPC在全球范围内,拥有广泛的影响力,其中德国莱布尼兹、韩国气象局、德国马克思-普朗克研究所、全球最美高性能计算中心巴塞罗那、北京冬奥会的气象保障系统北京气象局HPC局均由联想建设。
在今年的HPC大会上,联想主要展出的王牌产品包括联想第五代温水冷服务器,有助于降低功耗,还有针对工业仿真场景的基于LSF作业调度技术,以及基于GPFS文件系统的丰富的存储解决方案。
近日,联想董事长杨元庆以个人名义,捐赠上海交大最快HPC系统,造价1亿人民币。建成后预计高校算力排名第一,同时也是国内首次采用了联想第五代温水冷技术的集群。
戴尔(中国)高性能计算实验室主任凌巍才:
高性能计算的发展非常快。在中国,超级计算机的性能以每10年提高1000倍的速度在发展。
今年的HPC大会前,我参与了同行的讨论,谈到高性能计算领域的新机遇,主要有四点:
首先,市场需要高性能计算。越来越多的用户开始购买高性能计算机,高性能计算机可以给用户带来好处,帮助用户实现目标。比如,高性能计算可以帮助我们更快地设计汽车,或更快地判断材料的性质,或进行气象预报、模拟地球等等。
其次,高性能计算能够带动其他领域科技的发展,并与行业领域形成交叉学科,促进热门行业科技发展。在高性能计算的跨界交叉方面,戴尔注重生命科学和与高端制造业的结合,在生命科学中,提供面向生命科学的高性能计算方案,可以加快基因分析和疫苗药物的研发速度。在制造业中,高性能计算机可用于传统的模拟仿真,如汽车碰撞,采用计算机仿真模拟,不仅提高测试的速度还可以降低了成本。此外,高性能计算还开始用于产品的设计,比如,在测试汽车驾驶的过程中,外形要如何设计才能更契合空气的流动、减少阻力。
第三点,在近期的技术发展还显示,高性能计算仿真、数据分析与人工智能在一个通用的平台上运行是市场的需求和发展的趋势。戴尔科技集团根据采用先进的技术开发了开源软件Omnia,可以帮助用户在同一硬件平台上部署和管理软件组件,运行仿真、数据分析和人工智能不同作业负载。
最后一点,随着数据量的指数级的增长,存储也成为用户的关注重点。比如生命科学中基因分析应用,先是基因数据获得,然后进行存储和计算,最后还需要将结果数据归档和后期查询。由于基因数据量是非常庞大的,对不同阶段(Pipeline)对数据有不同的访问要求。戴尔公司收购了EMC(易安信)公司后,在高性能计算存储方案上有非常全面、领先的产品。针对不同形式的数据和访问需求,我们都有不同的存储产品来匹配。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
美国国防承包商再次陷入网络攻击噩梦中
美国国防承包商 Electronic Warfare Associates (EWA) 遭到网络攻击,该公司披露了威胁行为者入侵他们的电子邮件系统后发生的数据泄露事件,其中包含了含有敏感信息的文件。 详情 据悉,电子站协会向美国政府提供电子设备,客户名单包括国防部 (DOD)、国土安全部 (DHS) 和司法部 (DOJ)。 根据发送给蒙大拿州总检察长办公室的数据事件通知,电子站协会(EWA)意识到最近的网络钓鱼事件对电子邮件帐户的影响有限,并试图淡化安全漏洞带来的影响。该公司的专家认为,攻击者企图进行电汇欺诈。 “根据我们的调查,我们确定一名威胁行为者于2021年8月2日渗透了电子站协会电子邮件。当威胁行为者试图进行电汇欺诈时,根据了解到的情况,我们没有理由相信,渗透的目的是获取个人信息。但是,威胁行为者的活动确实导致某些个人信息的文件(如下文所示)被泄露。” 目前,根据该公司在第三方取证公司的帮助下进行的调查显示,威胁行为者窃取了姓名、社会保险号码 (SSN) 和通知接收者驾驶执照均被盗。 该公司没有透露攻击者是否因攻击而获得了机密技术文件的访问权限,也不知道被盗信息被滥用。 该通过...
- 下一篇
上万规模数据湖如何在实验室测试
摘要:上万规模的数据湖如何在进行实验室进行功能、性能、可靠性等方面的测试,也成为研发团队需要考虑的问题。 本文分享自华为云社区《如何在实验室进行MRS大集群规模测试》,作者: 老人与海 。 随着时代发展,数据变得更加开放、共享,客户的业务也面临着多元化处理,原有的集群亟待扩容,另外,推到原有小规模集群的烟囱建设,打造一体化数据湖的诉求也越来越迫切。在这一背景下,原本上千规模的集群已经远远无法满足客户的业务诉求,于是,迫切需要建设上万规模的数据湖。 而上万规模的数据湖如何在进行实验室进行功能、性能、可靠性等方面的测试,也成为我们研发团队需要考虑的问题。 通常情况下,我们的软件是直接部署在物理设备上进行测试的,3万节点规模大集群就需要3万台物理设备,这显然无法在实验室条件下得到满足,需要借助虚拟化的技术。 结合我们大数据产品的特点,其节点类型分为管理节点、控制节点、数据节点;在实际的部署使用过程中,管理节点和控制节点,往往会成为大集群规模下的瓶颈问题,应作为首先测试观察项。那如何有效的利用有限的实验室资源,进行有效的测试呢? 我们在Docker容器与虚拟机中进行对比发现,Docker容器采...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Hadoop3单机部署,实现最简伪集群
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- MySQL8.0.19开启GTID主从同步CentOS8
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合Redis,开启缓存,提高访问速度