大模型的风,还需要一个底层 AI 框架来落地

深度学习发展至今,语言、视觉、推荐、代码生成等多个领域相继出现一些“大模型”成果,不断刷新着人们对 AI 的认知与想象。深度学习依赖对大量数据的训练,而“大模型”的参数更多、函数更复杂,这样的特征使得模型所演算出来的结果更精准。随着万物互联世界的进一步发展,数据量的扩展与数据收集已不再是难题,随之而来的新命题是如何处理海量数据,并且做出更好地训练。

早在 2017 年,Transformer 结构被提出,使得深度学习模型参数突破了1亿;2018 年,BERT 网络模型的提出,使得参数量首次超过 3 亿规模;2020 年,拥有 1750 亿个参数的 GPT-3 横空出世;2021 年推出的 ZionEX 系统,其所支持的推荐模型大小已超过 10 万亿规模……

随着数据规模的指数级增长,大模型已经逐渐被认为是通过深度学习认知智能的桥梁。

然而,数据量的暴增提出了新的命题——如何跨越通信等瓶颈,提升大模型的训练效率?为了支持大模型的训练,往往需要一套大规模分布式训练框架来训练大模型。

对此,华为交出的答卷便是昇思 MindSpore AI 框架,原生支持大模型训练。昇思 MindSpore 拥有业界领先的全自动并行能力,提供 6 维混合并行算法,即数据并行、模型并行、流水并行、优化器并行等能力;极致的全局内存复用能力,在开发者无感知的情况下,自动实现 NPU 内存 / CPU 内存 / NVMe 硬盘存储的多级存储优化,极大降低模型训练成本;极简的断点续训能力,可解决大集群训练故障导致的任务中断问题……通过这些特性,可以很好地解决大模型开发时遇到的内存占用、通信瓶颈、调试复杂、部署难等问题。

专注底层能力,昇思 MindSpore 携手伙伴打造四大创新模型

值得注意的是,昇思 MindSpore AI 框架专注底层能力建设,为业界提供大模型的搭建基础。至今,昇思 MindSpore AI 已经携手业内领先的研究机构,推出覆盖自然语言处理遥感影像、生物医药、多模态的的四大模型,并广泛应用在金融、医疗、农林业、制造等各个行业

2021 年 5 月,在华为生态大会 2021「昇腾万里 共赢智能新时代」上,鹏城实验室基于昇思 MindSpore 推出了全球首个 2000 亿参数中文 NLP 大模型鹏程.盘古,是最接近人类中文理解能力的 AI 大模型。鹏程.盘古大模型具备广泛的运用场景,在知识问答、知识检索、知识推理、阅读理解等文本生成领域表现突出。

2 个月后,中科院自动化所联合华为基于昇腾AI和昇思MindSpore AI框架打造的全球首个三模态大模型——“紫东.太初”正式推出。紫东.太初能够实现视觉、文本、语音三个模态间的高效协同,性能全球领先,是探索通用人工智能道路上的重要成果,将在工业质检、影视创作、互联网推荐、智能驾驶等领域广泛应用。同时,依托其技术创新性和行业影响力,紫东.太初获得今年WAIC的最高奖项——卓越人工智能引领者奖(Super AI Leader,简称SAIL奖)

除了基础大模型之外,昇思 MindSpore AI 框架还已支撑两个行业大模型上线——鹏程.神农和武汉.LuoJia。

鹏城实验室联合华为基于昇腾 AI 和昇思 MindSpore AI 框架打造面向生物医学领域的人工智能平台  “鹏程.神农”。制药企业和医学研究机构使用“鹏程.神农”提供的AI能力,将大大加速新型药物的筛选与制,让人工智能为人类的健康保驾护航。

武汉大学与华为昇腾AI团队一起,共同打造了嵌入昇思MindSpore先进技术特性的全球首个遥感影像智能解译专用框架武汉.LuoJiaNet和业界最大遥感样本库武汉.LuoJiaSET,助力遥感智能解译,为数字乡村建设、粮食安全保护、城市规划建设国计民生应用赋能 

构筑体验平台,开放大模型能力

通常,训练一个大模型的人力和资源成本都非常之高,这也就导致了普通开发者入门无道。为了让更多开发者可以体验到大模型的魅力,昇思 MindSpore 社区打造了一站式大模型体验平台,已在 7 月 30 日正式上线。

  • 昇思大模型体验平台:https://xihe.mindspore.cn/

昇思大模型体验平台不仅集模型选型、在线推理、在线训练为一体,还支持了 Gradio 项目可视化推理、在线进行迁移学习。开发者可以在线查询基于昇思 MindSpore 构建的模型和数据集,并选择自己感兴趣的大模型及相关任务,如鹏城.盘古大模型的知识问答、检索和推理等、紫东.太初多模态大模型的以音搜图、以图生音和以音生图等。

实战造英雄,昇思 AI 挑战赛现已开幕!

Get 一项新技能,最好的办法就是立个小目标,自己动手实操。

在开发者领域,底层理论的掌握程度很难代表实际开发效果。为了能让更多开发者有机会学习昇思 MindSpore,探索模型算法并提升算法能力,进而为行业储备人才,推动人工智能软硬件应用生态繁荣发展,昇思 MindSpore 特举办昇思 AI 挑战赛。

昇思 MindSpore 还为参赛者准备了丰厚的奖品:

  • 一等奖1名,奖金5K元并颁发官方荣誉证书
  • 二等奖2名,奖金3K元并颁发官方荣誉证书;
  • 三等奖3名,奖金 2 K元并颁发官方荣誉证书;
  • 入围复赛且通过代码审查且成功在线推理的队伍可获得证书、定制大礼包等奖品;
  • 凡是提供推理模块的队伍,均可获得参与奖;

本次 AI 挑战赛是面向全球 AI 开发者打造的赛事,开设多类别图像分类、文本分类、艺术家风格迁移三大赛道,涵盖 AI 基础领域。

其中图像分类是计算机视觉中最基础的任务,目前图像分类的算法仍然在飞速发展。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像分类预处理、图像分类的能力。同时为了考察参赛者应对大量数据的处理能力,本赛题采用Celtech多类别图像数据集。

文本分类研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。文本分类在AI领域承担了重要角色。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行NLP的文本处理、文本分类的能力。 本赛题采用Amazon Review数据集,参赛者需要根据用户评论文本,对用户的评分进行预测(1-5分的整数)。

艺术家风格迁移赛道 图像风格迁移技术的发展在图像处理、计算机视觉、影视制作等领域均发挥着不可估量的作用。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像风格迁移的能力。本赛题采用梵高画作作为风格迁移的目标风格。

通过三大赛道的设置,开发者可以自由挑选感兴趣的赛道,实现从理论到实践的跨越,了解行业最新的人才需求,提升自身技能。

6 万元奖金及众多周边福利,还等什么?报名通道已经开启,快点击链接选择喜欢的赛道报名吧!https://xihe.mindspore.cn/competition

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/209883

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。