首页 文章 精选 留言 我的

精选列表

搜索[压缩包预览],共7356篇文章
优秀的个人博客,低调大师

Zadig v1.0.0 预览版发布,开源分布式持续交付产品

Zadig v1.0.0 已经发布,此版本更新内容包括: 提升 zadig 安装脚本的稳定性和成功率 以下安装环境已经过测试: Existing Cluster Vendor Kubernetes Version Test Result Ali ACK 1.16.9 pass 1.18.8 pass Tencent TKE 1.18.4 pass 1.16.3 pass 1.14.3 pass 1.12.4 pass HuaWei CCE 1.19.8 pass 1.17.17 pass Rancher 1.18 pass 1.20 pass Elastic Compute Service Vendor OS Version Test Result Ali ECS Ubuntu16.04 pass Ubuntu18.04 pass Ubuntu20.04 pass CentOS7.4 pass CentOS8.3 pass Tencent CVM Ubuntu16.04 pass Ubuntu18.04 pass Ubuntu20.04 pass CentOS8.2 pass HuaWei ECS Ubuntu16.04 pass Ubuntu18.04 pass Ubuntu20.04 pass CentOS7.6 pass CentOS8.2 pass Zadig 是一款面向开发者设计的云原生持续交付(Continuous Delivery)产品,具备高可用 CI/CD 能力,提供云原生运行环境,支持开发者本地联调、微服务并行构建和部署、集成测试等。Zadig 不改变现有流程,无缝集成 Github/Gitlab、Jenkins、多家云厂商等,运维成本极低。 详情查看:https://gitee.com/koderover/zadig/releases/v1.0.0

优秀的个人博客,低调大师

RWKV-8 预览之 DeepEmbed:对端侧友好的稀疏设计,解决 MoE 显存占用

RWKV-8 "Heron" 是我们的下一代架构,具有多个全新技术。在此我们首先公布其中的 DeepEmbed 技术,它可以实现类似 MoE 的优秀推理性能,同时无需占用显存,甚至无需占用内存,可以让稀疏的大模型真正部署到所有端侧设备。 推理代码:https://github.com/BlinkDL/RWKV-LM/blob/main/RWKV-v7/rwkv_v8_rc00_demo.py rwkv-8-pile 模型:https://huggingface.co/BlinkDL/rwkv-8-pile 下文将详细介绍 DeepEmbed 的原理与实现: 什么是 DeepEmbed DeepEmbed 在模型的每一层 FFN 中为词表中的每个 token 训练一个可学习的高维向量,这可以写成 Embed 层。这些向量在训练阶段可被学习,而在推理阶段可存储于 RAM/SSD 中,对于每个 token 只需预读极少量参数,从而显著减少显存占用。 推理时,模型根据 token index 可提前预读本层的 embedding 向量,用于对 FFN 输出进行逐通道的乘性调制(channelwise scaling)。 这些基于 token 的 embedding 向量构成了一个规模庞大但稀疏的知识库,能够显著提升模型存储和调用世界知识的能力。尽管这些向量看似增加了模型参数量,但不需要占用显存,且在训练过程中可通过 TP(Tensor Parallelism)避免 DP(Data Parallelism)中梯度同步的带宽开销,并可进一步 offload 至 RAM 或 SSD。 在端侧推理场景下,这些向量同样可存储于内存中,或通过mmap等机制直接从硬盘按需加载。每个 token 仅引入几十 KB 的额外访存开销,使该机制非常适合在边缘设备上部署。 DeepEmbed 代码示例 原始 ReLuSq FFN: x = torch.relu(self.key(x)) ** 2 return self.value(x) DeepEmbed_1x ReLuSq FFN: self.deepemb = nn.Embedding(d_vocab, d_emb) ... x = torch.relu(self.key(x)) ** 2 return self.value(x) * self.deepemb(idx) DeepEmbed_4x ReLuSq FFN(效果更佳,参数更多): self.deepemb = nn.Embedding(d_vocab, d_emb * 4) ... x = torch.relu(self.key(x)) ** 2 return self.value(x * self.deepemb(idx)) 从代码可以看出,self.deepemb 用于对 FFN 的输出或中间结果进行乘法缩放。这里的 idx 是输入的 token 索引。需要:注意将 self.deepemb 向量初始化为常数 1,以确保训练初期不会干扰模型行为。 self.deepemb 向量并不直接修改 FFN 的参数,而是以 token 为单位,替代了原本基于输入动态生成的门控向量在通道维度上的乘性调制功能,使模型对 token 的语义或类别具备更强的感知能力。 由于查表操作在推理时不占用 VRAM,这些向量在参数量层面几乎是"免费的"。因此,还可以进一步引入 n-gram(如 bigram、trigram),提升模型对词组/片段的建模能力。如果词表规模较大,也可结合 LoRA 技术降低显存和训练开销。 实验结果表明:相较于 baseline,更大规模的 DeepEmbed 能够带来更显著的 loss 改善。 DeepEmbed 技术在 twitter 公布后,引发多方关注, 包括 ViT 作者 Lucas Beyer。 未来我们会逐渐公布 RWKV-8 的更多创新技术。 加入 RWKV 社区 欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。 📖 RWKV 中文文档:https://www.rwkv.cn 💬 RWKV 论坛:https://community.rwkv.cn/ 🐧 QQ 频道:https://pd.qq.com/s/9n21eravc 📺 BiliBili 视频教程:https://space.bilibili.com/3546689096910933

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册