OpenAI推新程序包：GPU适应十倍大模型仅需增加20%训练时间-低调大师

OpenAI推新程序包：GPU适应十倍大模型仅需增加20%训练时间

2018-01-17 701

本文来自AI新媒体量子位（QbitAI）

GPU内存太小可能是神经网络训练过程中最大的拦路虎。

不怕，用这个OpenAI推出的gradient-checkpointing程序包，对于前馈模型来说，仅仅需要增加20%的计算时间，这个程序包，GPU就能适应十倍大的模型。

还有这种操作？

训练神经网络对内存的要求随着网络的深度和batch-size呈线性增长。在内存有限的情况下，如果想训练深层模型，并且增加batch-size，很多研究人员会采用KFAC这样的二阶方法。与小批量的SGD相比，这种方法发需要学习较少的样例。

重点来了。昨天，OpenAI的研究科学家Tim Salimans和前Google Brain工程师的数据科学家Yaroslav Bulatov两人发布了一个python/TensorFlow包，名为gradient-checkp

微信关注我们

原文链接：https://yq.aliyun.com/articles/390260

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MIS系统开发利器，快速的字典录入解决方案，另类的、可管理的.NET DataWindow

一、前言 AgileEAS.NET SOA 中间件平台是一款基于基于敏捷并行开发思想和Microsoft .Net构件(组件)开发技术而构建的一个快速开发应用平台。用于帮助中小型软件企业建立一条适合市场快速变化的开发团队，以达到节省开发成本、缩短开发时间，快速适应市场变化的目的。 AgileEAS.NET SOA中间件平台提供了敏捷快速开发软件工程的最佳实践，通过提供大量的基础支撑功能如IOC、ORM、SOA、分布式体系及敏捷并发开发方法所支撑的插件开发体系，以及提供了大量的实体、数据模型设计生成工具、代码生成工具，用于帮助中小软件开发商快速成长。 AgileEAS.NET平台充分把握目前软件行业快速发展的新趋势，基于敏捷并行开发、快速适应市场这样淳朴的软件工程实践，采用业界广泛使用的Microsoft .Net构件(组件)开发技术实践了这种开发思想，帮助软件企业实现“敏捷变化、快速适合”的目标，从而帮助软件企业在激烈的市场竞争中赢得先机并获得更高的回报。二、管理信息系统开发之中的字典选择录入问题 AgileEAS.NET SOA中间件平台被广泛的应用于MIS类系统之中，可以...

2018-01-17

443

作者：阿里-移动云-大前端团队传统的移动端开发，一个完整的业务需要维护三份终端代码：Android、iOS、H5，这带来了极大的开发成本以及维护成本。尤其是对处于业务初创期需要快速试错的业务以及需要支持定期运营活动的业务。所以业界也一直在探索跨平台方案，旨在通过一套代码完成各个终端的业务逻辑。相关方案经过不断演化，从早期的H5、Hybrid到如今的Cloud Native(云原生)，在开发效率和用户体验上都在一点点逼近最初的设想。早期H5和Hybrid方案的核心是利用终端的内置浏览器（webview）功能，通过开发web应用满足跨平台需求。该方案可以解决跨平台问题，同时可以提升发版效率。但其最大的弊端在于用户体验相较于native开发的app存在较大差距，经常出现页面卡顿，加载慢等问题。于是后来业界开始探索依旧利用web技术栈开发

2018-01-17

502

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。