首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/142121/jessibuca-2-0-released

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

看MindSpore加持下,如何「炼出」首个千亿参数中文预训练语言模型?

摘要:千亿参数量的中文大规模预训练语言模型时代到来。 本文分享自华为云社区《MindSpore开源框架加持,如何「炼出」首个千亿参数、TB级内存的中文预训练语言模型?》,原文作者:chengxiaoli。 千亿参数量的中文大规模预训练语言模型时代到来。 近段时间,中文大规模预训练语言模型圈有些热闹。26 亿参数量的「悟道 · 文源」, 270 亿参数量的 PLUG,以及昨天华为云发布的千亿级别「盘古」NLP 大模型,预训练语言模型已经成长到仅加载就需要 TB 级的内存或显存。 我们可以直观地想到,「盘古」效果理应更好,但计算量需求也更大,训练起来更困难。 然而「盘古」实际上是这样一次探索:开源框架 MindSpore,昇腾基础软硬件平台,加上超大规模中文预训练模型,意味着基础设施已然完善了。 这项工作由华为以及北京大学相关技术团队联手完成,在昇腾基础软硬件平台,以及 MindSpore 框架自动并行等黑科技的帮助下,训练出当前最大的中文预训练模型。 那么量级不断拔高的盘古大模型是如何训练出来的?接下来,让我们细致解读下「盘古」背后的关键技术。 千亿参数,TB 级内存的模型 以盘古 20...

Android 版 Chrome 将可以一键修改外泄密码

Google计划在 Android 版 Chrome 浏览器中启动一项新功能,以帮助用户一键轻松修改因数据泄露而外泄的密码。 根据官方所述,有了这项新功能之后,只需轻轻一点,Chrome 浏览器就可以帮助用户进行密码修改。在受支持的网站上,如果 Chrome 浏览器检测到一个可能被泄露的密码,"Change password"按钮将从 Assistant 中弹出。点击该按钮后,Chrome 浏览器将导航到密码被泄露的站点,并完成修改密码的整个过程,自动更改密码。 重要的是,你可以控制整个体验,选择从一开始就手动完成修改密码的过程,或者从这个过程中的任何一个时间点开始。而且,即使某个网站还不支持,Chrome 的密码管理器也可以随时帮助你为你的各种账户创建强大而独特的密码。 Chrome 浏览器高级产品经理 Patrick Nepper称,Google Assistance 在 Duplex on the Web 技术的支持下,可以帮用户完成浏览网页、点击、填写窗体等的烦琐操作,让用户可以专注于更加重要的事情上。现在,他们将会扩展这项功能的应用,当 Chrome 检测到用户的密码已经被泄...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。