刷新最快AI做图速度，最快开源Stable Diffusion出炉-低调大师

刷新最快AI做图速度，最快开源Stable Diffusion出炉

2022-12-01 417

第一辆汽车诞生之初，时速只有 16 公里，甚至不如马车跑得快，很长一段时间，汽车尴尬地像一种“很酷的玩具”。人工智能作图的出现也是如此。

AI 作图一开始的 “风格化” 本身就为 “玩” 而生，大家普遍兴致勃勃地尝试头像生成、磨皮，但很快就失去兴趣。直到扩散模型的降临，才给 AI 作图带来质变，让人们看到了 “AI 转成生产力” 的曙光：画家、设计师不用绞尽脑汁思考色彩、构图，只要告诉 Diffusion 模型想要什么，就能言出法随般地生成高质量图片。

然而，与汽车一样，如果扩散模型生成图片时“马力不足”，那就没法摆脱玩具的标签，成为人类手中真正的生产工具。

起初，AI 作图需要几天，再缩减到几十分钟，再到几分钟，出图时间在不断加速，问题是，究竟快到什么程度，才会在专业的美术从业者甚至普通大众之间普及开来？

显然，现在还无法给出具体答案。即便如此，可以确定的是 AI 作图在技术和速度上的突破，很可能已经接近甚至超过阈值。

其中一大标志性事件是，近期 OneFlow 首度将 Stable Diffusion 模型加速至“一秒出图”时代，随后AI社区开启一场AI作图的竞速“内卷”。刚刚，OneFlow又刷新了SOTA记录。

OneFlow Stable Diffusion 使用地址：

https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion
OneFlow 地址： https://github.com/Oneflow-Inc/oneflow/

1
比快更快，OneFlow 一马当先

11月7日，OneFlow 宣布将 Stable Diffusion 模型作图速度实现了字面意义上的“一秒出图”，在各种硬件以及更多框架的对比中，OneFlow 都将 Stable Diffusion 的推理性能推向了一个全新的 SOTA。

下面的图表分别展示了此前在 A100（PCIe 40GB / SXM 80GB）硬件上，分别使用 PyTorch, TensorRT, AITemplate 和 OneFlow 四种深度学习框架或编译器，对 Stable Diffusion 进行推理时的性能表现。

在 A100 显卡上，无论是 PCIe 40GB 的配置还是 SXM 80GB 的配置，OneFlow 的性能可以在当时的最优性能之上继续提升 15% 以上。

特别是在 SXM 80GB A100 上，OneFlow 首次让 Stable Diffusion 的推理速度达到了 50it/s 以上，首次把生成一张图片需要采样 50 轮的时间降到 1 秒以内。

一周之后，Meta AITemplate 对 Stable Diffusion 做了一次性能升级，结果反超了 OneFlow，PyTorch 创始人 Soumith Chintala 为此打 call。

性能优化无止境，OneFlow 也在不断迭代。两周之后，OneFlow 对Stable Diffusion 也做了进一步性能升级，并再度反超了 AITemplate 的结果，现在速度最快的还是 OneFlow。

可以看到，在 A100 显卡上，无论是 PCIe 40GB 的配置还是 SXM 80GB 的配置，OneFlow 基于此前性能结果继续提升 10% 以上，并且依然是当之无愧的性能之王。

而在 T4、RTX2080 上，相比于目前 SOTA 性能的 TensorRT、PyTorch，OneFlow 的推理性能也大幅领先。

2
生成图片展示

利用 OneFlow 版的 Stable Diffusion，你可以把天马行空的想法很快转化成艺术图片，譬如：

以假乱真的阳光、沙滩和椰树：

仓鼠救火员、长兔耳朵的狗子：

在火星上吃火锅：

未来异世界 AI：

集齐 OneFlow 七龙珠：

上述图片均基于 OneFlow 版 Stable Diffusion 生成。如果你一时没有好的 idea，可以在 lexica 上参考一下广大网友的创意，不仅有生成图片还提供了对应的描述文字。

3
无缝兼容 PyTorch 生态，实现一键模型迁移

想体验 OneFlow Stable Diffusion？只需要修改三行代码，你就可以将 HuggingFace 中的 PyTorch Stable Diffusion 模型改为 OneFlow 模型，分别是将 import torch 改为 import oneflow as torch 和将 StableDiffusionPipeline 改为 OneFlowStableDiffusionPipeline：

之所以能这么轻松迁移模型，是因为 OneFlow Stable Diffusion 有两个出色的特性：

OneFlowStableDiffusionPipeline.from_pretrained 能够直接使用 PyTorch 权重。
OneFlow 本身的 API 也是和 PyTorch 对齐的，因此 import oneflow as torch 之后，torch.autocast、torch.float16 等表达式完全不需要修改。

上述特性使得 OneFlow 兼容了 PyTorch 的生态，这不仅在 OneFlow 对 Stable Diffusion 的迁移中发挥了作用，也大大加速了 OneFlow 用户迁移其它许多模型，比如在和 torchvision 对标的 flowvision 中，许多模型只需通过在 torchvision 模型文件中加入 import oneflow as torch 即可得到。

此外，OneFlow 还提供全局 “mock torch” 功能，在命令行运行 eval $(oneflow-mock-torch) 就可以让接下来运行的所有 Python 脚本里的 import torch 都自动指向 oneflow。

4
使用 OneFlow 运行 Stable Diffusion

在 docker 中使用 OneFlow 运行 StableDiffusion 模型生成图片：

docker run --rm -it \  --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \  -v ${HF_HOME}:${HF_HOME} \  -v ${PWD}:${PWD} \  -w ${PWD} \  -e HF_HOME=${HF_HOME} \  -e HUGGING_FACE_HUB_TOKEN=${HUGGING_FACE_HUB_TOKEN} \  oneflowinc/oneflow-sd:cu112 \  python3 /demos/oneflow-t2i.py # --prompt "a photo of an astronaut riding a horse on mars"

更详尽的使用方法请参考：
https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion

5
后续工作

后续 OneFlow 团队将积极推动 OneFlow 的 diffusers（https://github.com/Oneflow-Inc/diffusers.git）和 transformers（https://github.com/Oneflow-Inc/transformers.git）的 fork 仓库内容合并到 huggingface 上游的的对应仓库，这也是 OneFlow 首次以 transformers/diffusers 的后端的形式开发模型。

值得一提的是，在优化和加速 Stable Diffusion 模型的过程中使用了 OneFlow 自研编译器，不仅让 PyTorch 前端搭建的 Stable Diffusion 在 NVIDIA GPU 上跑得更快，而且也可以让这样的模型在国产 AI 芯片和 GPU 上跑得更快，这些将在之后的文章中揭秘技术细节。

欢迎在GitHub上Star、试用：

OneFlow Stable Diffusion 地址：

https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion
OneFlow 地址： https://github.com/Oneflow-Inc/oneflow/

其他人都在看

本文分享自微信公众号 - OneFlow（OneFlowTechnology）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/oneflow/blog/5602955

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Curve 块存储应用实践 -- iSCSI

Curve 是云原生计算基金会 (CNCF) Sandbox 项目，是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。为了让大家更容易使用以及了解 Curve，我们期望接下来通过系列应用实践文章，以专题的形式向大家展示 Curve。本篇文章是Curve块存储应用实践的第一篇，该系列文章包括: Curve块存储应用实践一部曲之iSCSI Curve块存储应用实践二部曲之nbd Curve块存储应用实践三部曲之云主机 Curve块存储应用实践四部曲之云原生数据库 Curve块存储应用实践五部曲之性能调优 iSCSI 及 tgt 简介 tgt 是一个开源 iSCSI 服务器，详情请见 tgt githu[1]。我们在开发 Curve 块设备服务器时，想让更多的系统能够使用 Curve 块设备，而不仅仅是 Linux 系统，iSCSI 协议是一个广泛使用的块设备协议，我们想修改 tgt 以便让 Curve 提供 iSCSI 服务。 Curve 块存储为tgt提供了访问 Curve 的驱动，详见部署网络高性能版本tgt[2] ，文档里有操作步骤，这样用户就可以在任何支持 iSC...

2022-12-02

379

目录 1 前言 2 方案意义 3 架构设计 4 数据表设计 5 代码结构 6 项目演示 7 总结 1 前言 openGauss是一款全面友好开放的企业级开源关系型数据库。openGauss采用木兰宽松许可证v2发行，提供面向多核架构的极致性能、全链路的业务、数据安全、基于AI的调优和高效运维的能力。本文采用openGauss设计一个AI小demo。 2 方案意义人工智能被广泛用于棋类对弈的主要原因是：棋类对弈自古以来就被认为是人类智力活动的象征，若人工智能成功达到、甚至高于人类水平，则就代表AI的发展潜力，从而吸引更多研究者关注并投身其中；棋类很适合作为新AI算法的标杆。棋类游戏规则简洁、输赢都在盘面，适合计算机求解。理论上只要在计算能力和算法上有新的突破，任何新的棋类游戏都有可能得到攻克。而在棋类游戏上的表现也可以直观体现出AI之间计算能力与算法的高低，是促进AI算法发展的有效途径。就本五子棋智能对弈系统而言，其服务对象为同局域网下的多个终端，讲求联机互动、互相限制、互相博弈，打破了传统二人对弈五子棋规则中，“若无禁手，先手易胜；若为后手，十堵九输”的说法，是AI算法设计、网...

2022-12-02

445

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。