首页 文章 精选 留言 我的

精选列表

搜索[打包工具],共10000篇文章
优秀的个人博客,低调大师

岁末年初,为你打包了一份技术合订本

“Show me the code”有时并不足够,你还需要注释辅助去深入理解代码背后的思想和逻辑。 作为一个开源社区,OneFlow不止希望通过公开的源码与开发者和用户交流,还希望通过一篇篇技术博客分享和检验我们的想法,分享OneFlow做了什么以及为什么这样做,如何才能做到“最好”,以及分析深度学习框架乃至AI行业的发展趋势。 为了回答上述问题,2021这一年,OneFlow公号持续向开发者分享了近60篇技术内容。其中绝大部分都是OneFlow团队出产的原创文章,部分则是其他作者慷慨授权的编译转载内容。 它们主要包括深度学习框架解析、最新技术实践、行业趋势观点,技术创新的产生和发展,以及OneFlow开发者的程序人生故事。我们相信,这些内容能让读者更好地了解深度学习框架和相关AI技术,更重要的是促进社区的各种思维和观点的碰撞,激发出更好的技术创新。 写作这些内容并非易事,但我们尽可能做到独特、有信息增量,是读者朋友所喜闻乐见的,一如我们开发OneFlow框架的技术追求。 读者朋友的积极探讨和反馈,是我们能持续分享高价值内容的最大动力。新的一年,更多高品质内容正在打磨中,OneFlow将继续分享我们所理解的技术世界。 以下是OneFlow社区在2021年发布的重要内容汇总: 最好的分布式框架究竟是怎样的 大数据、大模型持续发展的背景下,开发者们越来越感到原有深度学习框架“不够用了”。关于下一代深度学习框架形态的讨论已摆上台面,OneFlow创始人袁进辉通过以下文章分析了原有框架面临的桎梏,为什么亟需OneFlow这样的新一代深度学习框架,以及最易用、效率最高的分布式框架如何演进。 浅谈GPU虚拟化和分布式深度学习框架的异同 再谈“去虚拟化”对深度学习系统的必要性 如何超越数据并行和模型并行:从GShard谈起 训练GPT-3,为什么原有的深度学习框架吃不消 最理想的点到点通信库究竟是怎样的 对抗软件系统复杂性③:恰当分层,不多不少 对抗软件系统复杂性②:全局一致,统一隐喻 对抗软件系统复杂性①:如无必要,勿增实体 动态调度的“诅咒”| 原有深度学习框架的缺陷③ 数据搬运的“诅咒” | 原有深度学习框架的缺陷② 资源依赖的“诅咒” | 原有深度学习框架的缺陷① 如何简单理解1.6万亿参数的Switch Transformer 框架的架构设计 基于Actor、SBP、流式调度等先进的分布式系统架构设计及理念,OneFlow做到了“人有我优、人无我有”的极致高效性。 GPT-3模型为何难以复现?这也许是分布式AI框架的最优设计 一个Job在OneFlow中的执行过程(上) 一个Job在OneFlow中的执行过程(中) 一个Job在OneFlow中的执行过程(下) 深度学习框架OneFlow是如何和ONNX交互的 为OneFlow添加新的前端语言 框架技术实践 今年OneFlow框架全力攻关一个重点是单机单卡的易用性体验,OneFlow v0.5.0发布后,eager模式已对齐PyTorch,常用的模型库、算子都有了,更多算子正在添加中,万一缺少你想要的算子,别忘了在GitHub上提个issue。 对齐PyTorch,一文详解OneFlow的DataLoader实现 以OneFlow为例探索MLIR的实际开发流程 用OneFlow实现基于U型网络的ISBI细胞分割任务 深度学习框架量化感知训练的思考及OneFlow的解决方案 基于OneFlow实现量化感知训练 用OneFlow实现数据类型自动提升 后向重计算在OneFlow中的实现:以时间换空间,大幅降低显存占用 OneFlow框架添加算子实践:expand和repeat 以OneFlow为例梳理深度学习框架的那些插值方法 OneFlow中的错误处理:Maybe InsightFace:用OneFlow轻松实现超大规模人脸识别模型 快过HugeCTR:用OneFlow轻松实现大型推荐系统引擎 与框架相关的技术 每次看到那些写透一个技术点或极具前瞻性观点的文章,多数人会有“看这一篇就够了”的满足感。好的技术综述文章也是这样。 GPU架构演进十年,从费米到安培 Credit-based Flow Control的前世今生 分布式领域最重要的一篇论文讲了什么 AI算力的阿喀琉斯之踵:内存墙 颠覆式编程:软件2.0 向量时钟的本质 CUDA优化实践 CUDA入门的文章市面上层出不穷,但关于深度调优的内容比较稀缺。该系列的首篇文章一经发布,CUDA小分队就收到了诸多读者的连环催更要求。 如何实现一个高效的Softmax CUDA Kernel OneFlow CUDA Elementwise模板库的设计优化思路 CUDA优化之LayerNorm性能优化实践 如何设置CUDA Kernel中的grid_size和block_size 基于OneFlow实现Unfold、Fold算子 如何实现比PyTorch快6倍的Permute/Transpose算子 CUDA高性能计算经典问题②:前缀和 CUDA高性能计算经典问题①:归约 科技星辰 如今的中国不乏满怀激情的创业者,遗憾的是,我们在底层硬科技的创新思维是固化的甚至是空白的,人们往往由于不知道如何创新而手足无措、望而生畏。因此,了解硬核技术的创新是如何发生的在这个时代尤为重要。追溯前人足迹,科技创新领域或许也需要一场“文艺复兴”。 计算机史最疯狂一幕:豪赌50亿美元,“蓝色巨人”奋身一跃 没有这个传奇工程师,就没有今天的Windows 计算机架构史上的一次伟大失败,多数人都不知道 并行机缔造者希利斯和思维机器的浮沉十年 OneFlow的开发者们 不同背景的人才组建了这支独特的OneFlow团队,他可能是你身边平时看起来并不起眼的同学、同事,但深入了解后你会发现那些你不知道的闪光之处。每个人的人生经历都如此不同,他们的经历也将在学习和工作中启发你我。我们也希望,通过分享这支年轻团队的故事联结更多同类一起并肩作战。 管张汇泓:一份邮件把我带到了开源世界 姚迟:新东方讲师到AI框架工程师 胡珈魁:00后工程师的AI进阶之路 李一鹏:一份让我无法拒绝的offer 徐之秋:从游戏启蒙的00后AI工程师 梁德澎:当一个炼丹师去做框架开发 张建浩:一个开源爱好者的框架开发之路 张晓雨:在这里找到热爱开源的理想状态 成诚:从实习生到OneFlow开发组负责人 吴文童:产品和开发者之间是相互作用的 上述文章作者:Andrej Karpathy、Amir Gholami、成诚、陈清扬、郭冉、柳俊丞、李新奇、刘明阳、李响、乔晶、吴娱、王金许、袁进辉、姚迟、郑泽康、张晓雨、张伟、张铁蕾、赵露阳、周泽楷 2022年,一起向未来。 题图源自congerdesign, Pixabay 其他人都在看 动态调度的“诅咒” 2021,我们的浮生一日 OneFlow v0.6.0正式发布 深度学习框架如何优雅地做算子对齐任务 Credit-based Flow Control的前世今生 计算机史最疯狂一幕:“蓝色巨人”奋身一跃 欢迎下载体验OneFlow新一代开源深度学习框架:https://github.com/Oneflow-Inc/oneflow/ 本文分享自微信公众号 - OneFlow(OneFlowTechnology)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

优秀的个人博客,低调大师

用SAP WebIDE将CRUD Master-Detail应用打包成Hybrid App

登录api.sap.com, 找到自己想用ABAP调用的API: API References里,点击Code Snippt, 即可看到API Hub自动生成的使用ABAP调用该API的代码: 在SAP WebIDE里,选择Tools->Preferences, 启用Hybrid App Toolkit: 选择WebIDE里的Master-Detail应用文件夹,右键菜单里选择Mobile->Enable as Hybrid Mobile Project: 这个选择会添加一个名叫mobile的文件夹到当前项目工程里,包含了一些该应用在设备或者模拟器里运行所必须的一些文件: Build Packaged App: 选择应用运行的移动平台类型: Build成功: 本文来自云栖社区合作伙伴“汪子熙”,了解相关信息可以关注微信公众号"汪子熙"。

优秀的个人博客,低调大师

利用函数计算流式 gz 打包 ECS 上的单个 超大文件

背景 在某些业务场景下,生成超大的日志文件或者其他文件, 这些文件需要及时移出并 gz 压缩保存到 OSS,但是压缩文件可能会大于 3G 超出函数计算执行环境的最大内存限制, 本文提供流式解决这个问题的方案 函数计算配置VPC, 内网打通ecs OSS 和 函数计算在相同 region, 内网传输 示例代码 依赖使用第三方库 paramiko, 但是默认的库在传输大文件上有传输速率限制, 需要做如下改造, 同时构造 paramiko.SFTPClient 的时候需要设置好 window_size 和 max_packet_size 这两个参数 import paramiko import gzip import oss2 import logging import os import time logging.getLogger("oss2

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册