OneFlow v0.8.0 正式发布-低调大师

OneFlow v0.8.0 正式发布

2022-07-27 338

今天是 OneFlow 开源的 717 天，OneFlow v0.8.0 正式发布。本次更新包含523个commit，完整更新列表请查看链接： https://github.com/Oneflow-Inc/oneflow/releases/tag/v0.8.0 ，欢迎下载体验新版本，期待你的反馈。

OneFlow v0.8.0 主要包括以下新增亮点功能和优化：

1.兼容性

PyTorch compatible API 更加完善。 新增一系列与 PyTorch 1.10.0 兼容的功能和接口，包括新增与 PyTorch 对齐的 68 个 API，修复了 84 个算子与接口兼容性 bug，支持用户将更多 PyTorch 模型一键迁移为 OneFlow。

2.Global 算子支持

所有算子对 Global Tensor 的支持更加完备且高效。 修复了 28 个 Global Tensor 相关的 bug，新增 180 个 Global 算子单测，用户可以更加简单且高效地用 Global Tensor 进行分布式模型开发。

3.性能

Graph 高级特性的性能更加成熟完善：

除原本的 ZeRO-DP 以外，ZeRO 零冗余优化器可以与 MP，2-D，3-D 并行搭配使用，进一步节省显存开销。
Graph 提出了新的流水并行 API，在简化流水并行配置的同时加速流水并行与 3-D 并行的性能。
为了进一步提升 Graph.debug 调试效率，新增关于逻辑图、light plan 物理图、内存分析、Python 栈信息等多维度的调试功能。

基于 OneFlow v0.8.0 和 LiBai v0.2.0 ， GPT 和 BERT 3-D 并行下的速度优化明显 ，在多个维度上的速度表现都超越相同配置下的 Megatron-LM（ 数据详见： https://libai.readthedocs.io/en/latest/tutorials/get_started/Benchmark.html ）。

4.OneEmbedding组件

OneEmbedding 是一款专门为大规模推荐系统设计的拓展组件，具备高性能、可拓展、灵活度高等特点。 其具备以下特性：

支持分层存储，动态扩容的 Embedding，用户可以以较低成本扩展 Embedding 容量
混合并行策略，能够轻松地将模型横向拓展到多机多卡的场景
通信量化压缩功能，在并行场景下，对通信的数据进行量化压缩，以减少通信量，提升训练速度
高效的数据流水线，将模型中没有数据依赖的部分提前执行，在时间上进行重叠
支持自动混合精度训练，模型训练过程中将部分计算转换为 FP16 数据类型计算，在减少显存占用的同时提升训练速度，并能保证模型收敛精度
针对推荐系统模型的常用操作提供一系列高性能 CUDA 算子
支持灵活的模型构建

API 文档：

https:// docs. oneflow.o rg /master /cookies /one_embedding.html

5.多设备适配

OneFlow 提供简洁高效易扩展的硬件抽象层 EP（Execution Provider），以应对适配不同硬件的复杂性。 引入硬件抽象层之后，用户无需关注底层硬件和框架的具体实现细节，框架的各个模块无需改动便可以适配新的硬件设备，同时，用户只需按照硬件抽象接口的约定和硬件设备的实际情况，实现一系列接口，便可以完成硬件的适配工作。

EP 还定义了一组基础计算接口 Primitive，基于 Primitive 接口重新实现了 Kernel。 相比 EP 提供的运行时接口，Primitive 提供的接口更加灵活，不同接口之间相互独立，每一个接口表示了某种硬件设备可以提供的特定的计算能力。

6.调试工具栈

新增调试工具栈 OneFlow-Profiler 与 AutoProf。

OneFlow-Profiler 用来在框架执行流程中收集各种性能相关信息的工具。该工具可以统计算子或系统组件的执行时间，内存显存的分配情况，同时可以记录算子对应的的输入和参数信息，这些信息可供开发者分析框架执行中开销最大的部分，以实现针对性优化（ https://github.com/Oneflow-Inc/oneflow/pull/8047 ）。

AutoProf 是一个测试 OneFlow 和 PyTorch 算子性能的框架，为 OneFlow 提供优雅、高效地检测 OneFlow API 与 PyTorch API 是否对齐的方法，让用户可以自动比较 OneFlow API 与 PyTorch API 的性能结果（ https://github.com/Oneflow-Inc/oneflow/pull/8207 ）。

7.异常报错处理

大幅完善 OneFlow API 中的异常处理流程，完善 API 在异常情况下的报错提示信息。

8.API文档

完善 OneFlow API 文档内容共20余处，按照功能对 API 文档进行模块重构。除通用的算子 API 外，详细说明 OneFlow oneflow.nn.graph 、 oneflow.embedding 、 oneflow.autograd 等模块及环境变量。

微信关注我们

原文链接：https://www.oschina.net/news/204352/oneflow-0-8-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

8000字讲透OBSA原理与应用实践

摘要：OBSA项目是围绕OBS建立的大数据和AI生态，其在不断的发展和完善中，目前有如下子项目：hadoop-obs项目和flink-obs项目。文章作者：存储服务产品部开发者支持团队 OBS存储服务概述华为云OBS存储服务提供了“对象存储服务”和”并行文件系统服务”。 1.对象存储服务：提供传统的对象存储语义。 2.并行文件系统服务：简称文件桶，基于对象存储服务提供了一种经过优化的高性能文件系统，其实现了追加写，文件截断，目录重命名原子操作等一系列特性，并和对象存储服务一样提供了毫秒级别访问时延，TB级别带宽和百万级别的IOPS，因此非常适用于大数据分析等场景，华为云的MRS，DLI等大数据分析服务均已支持OBS服务作为其底层的存储服务。 OBSA项目概述 1.OBSA项目是围绕OBS建立的大数据和AI生态，其在不断的发展和完善中，目前有如下子项目：（1）hadoop-obs项目：基于华为云OBS存储服务实现了hadoop文件系统抽象；（2）flink-obs项目：基于华为云OBS存储服务实现了Flink文件系统抽象； 2.OBSA官方文档：https://support.h...

2022-07-27

371

系统介绍 ModStart 是一个基于 Laravel 模块化极速开发框架。模块市场拥有丰富的功能应用，支持后台一键快速安装，让开发者能快的实现业务功能开发。系统完全开源，基于 Apache 2.0 开源协议。功能特性丰富的模块市场，后台一键快速安装会员模块通用且完整，支持完整的 API 调用大文件分片上传，进度条显示，已上传文件管理强大的模块扩展功能，所有模块可以无缝集成，支持在线安装、卸载模块完善的开发助手，实现模块、主题的的一键创建完善的后台权限管理，支持基于 RBAC 的权限管理系统后台管理支持使用手机、平板、PC，无论何时何地都可方便管理第三方登录（QQ、微信、微博、支付宝、微信小程序）第三方支付支持（微信、支付宝、支付宝当面付、微信扫码、微信小程序）第三方云存储支持，支持云储存分片上传（阿里云、百度云、华为云、腾讯云、FTP、七牛云、UCloud、又拍云）第三方短信支持（阿里云、腾讯云、华为云、百度云、253 云通讯、聚合、七牛云、融云、赛邮、UCloud、云片、网易云） V5.4.0 版本更新 2022 年 07 月 27 日 ModStartB...

2022-07-27

352

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。