首页 文章 精选 留言 我的

精选列表

搜索[首次公开募股],共10000篇文章
优秀的个人博客,低调大师

小米公开 MiMo-V3 核心架构 HySparse2:KV 共享升两级、Prefill 少跑一半

小米 MiMo 团队负责人罗福莉(Fuli Luo)在 X 上预告了 MiMo-V3 的新推理架构 HySparse2,随后小米官方公众号也放出了完整介绍。面向长程多轮 Agent,这套方案的三个目标很直接:更少的 Prefill 计算、更小的 KV Cache、更精准的长上下文检索。 和 MiMo-V2.6 的 Hybrid SWA 相比,相对收益的系数是现成的:在百万 token 成本分析里,Prefill 计算量降至 1/5(约 5 倍),KV Cache 从 12GB 压到 2.7GB——按 1M token 上下文算缩小了约 4.5 倍。MRCR-v2、RULER-v2 长文检索基准也有提升,AgentPPL、LongPPL 更低。相对第一代 HySparse,Prefill 计算量降至 1/3,KV Cache 从 6.7GB 降到 2.7GB,后训练后 MRCR-v2 和 RULER-v2 各报告长度平均分分别提高 11.30 和 19.81 个百分点。 省 KV 靠的是两级 KV 共享。模型照 YOCO 的思路拆成前后两半:第一级 KV Bridging 让后半部分(Cross-Decoder)的 Full Attention 层直接从前半部分(Self-Decoder)对应层的输入隐藏状态生成自己的 KV Cache——这些缓存不必等输入逐层流过 Cross-Decoder,在前半段就把 KV 建好了;第二级 KV Reuse 让同一 Hybrid Block 里的稀疏层直接复用 Full Attention 层算好的 KV Cache 和选择索引,不用额外训独立选择器。 配合 token 级稀疏选择(第一代是块级,这会为选中一个重要 token 往往连整块算进去;现在按 token 分配预算),加一个强制保留最近 128 token 的局部窗口,窗口外再选 1,024 个全局 token,两部分合进同一次稀疏注意力计算。 这套拆分顺手把 Prefill 的路径切短了:49 层模型里,Prefill 只需要执行前 25 层 Self-Decoder 和桥接 KV 投影,其中只有一层 Full Attention。Prefill-Decode 分离部署时,Prefill 节点只需部署这部分网络,模型权重存储接近减半。 换句话说,「缓存更小、Prefill 更短」和「长文检索更好」没有互相拆台。连同此前通过低比特量化、投机解码等做快速 Decode 的 MiMo-UltraSpeed,小米是想让模型在同一规模下 Prefill、Decode 两头都快。 来源: Fuli Luo on X: MiMo-V3 gets HySparse2 HySparse2:Xiaomi MiMo-V3 新架构预览 arXiv 2609.26368 — HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing

优秀的个人博客,低调大师

Bentley拿一座百年大桥,公开测了一次AI,最后还是得工程师收尾

大家好,我是秦明。最近在AI4E HOT采集到一条来自 Bentley 的技术博客。Bentley 是全球基础设施软件的头部公司,做的是桥梁、公路、铁路、电力、水务这类大型基建项目里设计师和工程师用的工具——从画图建模、到结构分析、再到运维管理,国内的不少央企设计院、大型施工集团也都在用他们的软件。

优秀的个人博客,低调大师

沈向洋博士致2018届毕业生的公开信:计算机科学的三堂人生课

上周五,我有幸在美国华盛顿大学计算机科学与工程学院的年度毕业典礼致辞。在这样一个特殊的日子里,能和这群才华横溢的年轻人及其亲友一起庆祝,我深感荣幸。 我认为,在计算机领域,没有任何一个时代比现在更具有魔力。我成长于上世纪60年代的中国,那是一个技术突飞猛进的时代——人类进入太空、卫星发射、超音速飞机试飞。那时,虽然计算机才刚出现,但却已经成为许多重大突破的核心。 那时,我的父亲,一个高中数学教师,像大多数中国人一样,从来没见过计算机。但他们都听说过计算机,也知道它会很“大”,有可能会改变这个世界。父亲鼓励我在这个全新的领域里求学。我很幸运能来美国继续我的学业。 我们那一代的学生对人工智能非常着迷,致力于计算机视觉、语音识别和机器人科学等领域的研究。但当90年代,我从卡内基梅隆大学获得博士学位时,人工智能相关专业的毕业生却找不到好工作,因

优秀的个人博客,低调大师

腾讯音乐天琴实验室面向行业首次发布三套开源数据集,助力音视频技术的发展变革

3月13日,腾讯音乐天琴实验室联合清华大学人机语音交互实验室(THUHCSI)、音频语音与语言处理研究组(ASLP@NPU)、CCF计算艺术分会及北京市智慧广电(网络视听)重点实验室四家机构共同发布三套开源数据集,该项目在中国音像与数字出版协会数字音乐工作委员会(“中国音数协数字音乐工委”)的指导下,面向行业、高校专业研究人员提供数据开放服务,夯实产业发展基础,为数字音乐产业升级注入新活力。此前,在中国音数协数字音乐工委指导下,腾讯音乐牵头制定了两项团体标准,打开行业规范化发展新格局。 天琴实验室发布三套开源数据集,产业变革有据可循 此次发布的三套开源数据集分别是片段翻唱数据集、哼唱数据集和歌唱评价数据集。此数据集面向海内外的相关研究人员和专业人士,登录天琴实验室开源数据集中英文官网https://lyracobar.y.qq.com/index.html可下载相关内容。 其中,片段翻唱数据集(Lyra-CoverSegmentDataset, 简称Lyra-CSDataset)打破目前只有全曲翻唱开源数据集的局面,有助于研究解决听歌识曲难以识别翻唱改编的问题。Lyra-CS来自于QQ音乐曲库满足开源授权条件的歌曲,其中包含不同语言、流派、歌手的歌曲原唱及对应的翻唱或live版本片段,数据集总时长近400小时,包含超53万个录音片段。 哼唱数据集(Lyra-Query by HummingDataset,简称Lyra-QBHDataset)为促进哼唱识别技术发展而构建,用户多样性强,录制环境与真实场景更为接近。该数据集主要用于哼唱识别算法评估。 歌唱评价数据集(Lyra-Singing Assessment Dataset,简称Lyra-SA Dataset)是国内首个整曲演唱的歌唱评价开源数据集,其样本数据来源于全民K歌,对音乐教育、线上卡拉OK及线下赛事具有非常高的研究与应用价值。该数据集致力于提供更多真实场景下的歌唱数据及标签,帮助研究人员测评或建立歌唱评价模型。 三套开源数据集突破目前产业数据的局限,在数据广度、丰富度和真实可信度上都有巨大提升。将为促进听歌识曲技术、哼唱识别技术、歌唱评价技术的发展提供更全面的数据支撑。 天琴实验室目前业已成为行业内顶尖的音视频研究实验室。近日,腾讯音乐天琴实验室再次被深圳市南山区总工会命名为示范性劳模和工匠人才创新工作室,成为南山互联网企业唯一获此殊荣的工作室,这也是继去年10月份QQ音乐技术副总裁、天琴实验室负责人周文江获评南山区“十大创新工匠”后,天琴实验室的创新成果和攻关能力再次获得权威表彰和认可。 腾讯音乐牵头制定两项团体标准,数字音乐产业高品质发展有标可依 除了不断攻关新技术,引领音乐科技发展,腾讯音乐还主导参与音乐行业的标准制定,推动行业标准化发展。 2022年10月,中国音像与数字出版协会正式发布《音乐平台术语》和《音乐平台歌词格式要求》两项团体标准。在中国音数协数字音乐工委指导下,由腾讯音乐牵头,联合数字音乐平台、内容制作平台、行业技术平台等多家主流企业共同完成此次标准的研制。在近两年的标准研制过程中,腾讯音乐肩负起头部平台责任,与行业伙伴紧密合作,切实推进标准的制定和落地。 《音乐平台术语》《音乐平台逐字歌词文件格式要求》的制定与实施将统一和规范数字音乐通用术语及其定义,规范逐字歌词文件格式,实现数字音乐领域术语的标准化、格式的统一化,为音乐平台的管理和服务提供帮助。另外,两项标准的实施将进一步完善行业规则体系,为数字音乐用户、音乐人、音乐作品提供良好支撑,激励音乐人创作更多高质量音乐作品。 一直以来,腾讯音乐立足于行业服务者的角色,天琴实验室不断探索科技创新,升级数字音乐与音频娱乐服务,为用户创造更具创意、品质更高的音娱产品体验,满足广大用户多元消费需求,推动产业高品质发展。未来,数字音乐产业势必将面临更多新的挑战,相信腾讯音乐能够为行业创造更多新的惊喜,继续引领行业发展。

优秀的个人博客,低调大师

首次WordPress建站大问题!

开发者论坛每周选取精华内容总结,精选论坛优质贴,每周更新一期,方便大家阅读! 【漏洞公告】CVE-2018-1999002:Jenkins任意文件读取漏洞 正禾摘要:Jenkins发布的安全通告中修复了多个漏洞,其中的SECURITY-914是由Orange发现的Jenkins未授权任意文件读取漏洞。防范措施>>https://bbs.aliyun.com/read/584286.html 核验单在哪里下载 jlgobon摘要:网站备案,核验单在哪里下载呢?核验单下载和注意事项>>https://bbs.aliyun.com/read/584192.html 关于PHPWIND9手机APP无法登陆 忠实粉丝1摘要:PHPWIND9.x手机APP无法登陆,提示103NULL错误。答疑>>https://bbs.aliyun.com/read/584359.html 现在服务器和域名备案服务器不一致 七息的鱼儿疑问:备案域名的服务器已经换了,去备案增值电信许可证的时候说现在的服务器和以前备案域名的服务器不一致,怎么办?需要怎么解决?求版主给解决办法。答疑>>https://bbs.aliyun.com/read/584482.html 第一次WordPress建站大问题! jean0124摘要:WordPress建站提示详细错误信息?HTTP 错误 404.3 - Not Found 答疑>>https://bbs.aliyun.com/read/584396.html 阿里云windows系统服务器ECS如何设置404页面,求截图 九朝建业摘要:百度了半天也没有找到有关阿里云windows系统服务器ECS如何设置404页面的操作步骤,哪位大神能否截图演示一下,我这方面一点也不懂,所以求图。版主答疑>>https://bbs.aliyun.com/read/584297.html 阿里云的Linux虚拟主机支持上传中文文件和文件夹吗 0分学渣摘要:阿里云的Linux虚拟主机支持上传中文文件和文件夹吗?解答>>https://bbs.aliyun.com/read/584219.html 论坛近期多次出现账号被盗 l82865443摘要:PHPwind论坛多次出现版主或者其他账号被盗,并且发布违禁主题,如何抑制被盗,主要原因出现在哪?防御方法>>https://bbs.aliyun.com/read/584348.html 【新手教程】阿里云虚拟主机sqlserver数据库表、视图,存储过程搬家、备份 whosoft摘要:如果sqlserver数据库,只需要搬家数据库的,可以使用以下方法搬家 解答>>https://bbs.aliyun.com/read/584404.html ECS Linux 修改编码格式 李沃晟摘要:通常情况下,云服务器 ECS Linux 默认的编码格式是 utf-8。而安装有些软件可能需要 GBK 等编码支持。方法>>https://bbs.aliyun.com/read/584341.html 开发者论坛一周精粹最近5期↓↓↓ 论坛一周精粹(第四十八期)>Https://bbs.aliyun.com/read/581492.html 论坛一周精粹(第四十九期)>Https://bbs.aliyun.com/read/582314.html 论坛一周精粹(第五十期)>Https://bbs.aliyun.com/read/582905.html 论坛一周精粹(第五十一期)>Https://bbs.aliyun.com/read/582905.html 论坛一周精粹(第五十二期)>Https://bbs.aliyun.com/read/579852.html 开发者论坛一周精粹历史汇总↓↓↓ https://bbs.aliyun.com/read/576572.html

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册