首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/200641

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Yandex 开源 YaLM 100B:千亿参数的类 GPT 模型

俄罗斯搜索巨头 Yandex 发布了YaLM 100B ,它是一个利用了 1000 亿个参数、类似 GPT 的神经网络,用于生成和处理文本。目前该模型基于 Apache 2.0 许可托管在 GitHub 上。 Yandex花了 65 天的时间在包含 800 个 A100 显卡和 1.7 TB 在线文本、书籍和无数其他资源的池中训练了模型。YaLM 高级开发人员 Mikhail Khrushchev 在 Medium 上发布了一篇博客,详细介绍了训练该模型的经验,包含如何加速模型训练、如何处理分歧等技术细节。但该公告似乎非常关注参数数量和训练模型的工程挑战,对该模型的训练(学习率计划等)或性能数据没有任何披露。 有网友推测该 YaLM 100B模型的性能基本上介于 GPT-2 和 GPT-3 之间,而Yandex 之所以要训练这样一个大型预训练语言模型,是因为他们需要一个能够同时理解俄语和英语的模型,而 GPT-2 和 3 都只能理解英语。 另外,训练这样的模型需要的花销也不便宜,800 个 A100 显卡+ 65天训练时间,以 AWS“p4d.24xlarge” 实例(8×40GB A...

Bytebase 加入阿里云 PolarDB 开源数据库社区

Bytebase签署阿里巴巴开源CLA(Contribution License Agreement, 贡献许可协议), 正式与阿里云PolarDB 开源数据库社区牵手。 PolarDB是阿里云自研的数据库产品家族,采用存储计算分离、软硬一体化设计,既拥有分布式设计的低成本优势,又具有集中式的易用性,可满足大规模应用场景需求。2021年,阿里云把数据库开源作为重要战略方向,正式开源自研核心数据库产品PolarDB,助力开发者和客户通过开源版本快速使用阿里云数据库产品技术,并参与到技术产品的迭代过程中来。2021年5月,阿里云率先开源PolarDB for PostgreSQL分布式版,在10月的云栖大会上,阿里云进一步开源了云原生分布式数据库PolarDB-X和PolarDB for PostgreSQL共享存储版。2022年5月, PolarDB-X 开源版本升级到2.1版本,该版本也是第一次将 PolarDB-X 分布式数据库的产品作为企业级的分布式数据库真正部署到客户的生产环境使用。 作为 PolarDB 开源数据库的生态企业,Bytebase 是聚焦在应用研发过程中变更数据库结...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册