OpenBMB 发布并开源 MiniCPM 4.1-8B
OpenBMB 正式推出并开源 MiniCPM4.1-8B,这是首个开源的混合推理大语言模型,该模型通过系统性创新实现了端侧极致效率,支持深度推理模式与非推理模式一键切换。
该系列在 8B 参数规模下通过模型架构、训练数据、训练算法和推理系统四个维度的系统性创新,实现端侧极致效率。
模型亮点
- 首个原生稀疏架构的深思考模型,通过可训练稀疏注意力创新,代码、数学推理等任务的推理速度比同尺寸开源模型快 3 倍以上
- 知识、推理、编程、指令遵循等 15 个评测基准,取得综合平均分同尺寸模型第一
- 支持高效双频换挡:长文本用稀疏,短文本用稠密
- 端侧友好,在 128K 长文本场景下,MiniCPM 4.1 相较于 Qwen3-8B 仅需 25% 的缓存存储空间
MiniCPM4.1-8B 采用 InfLLM v2 可训练稀疏注意力机制,在 128K 长文本场景下每个 token 仅与不到 5% 的 token 计算相关性,显著降低长文本计算开销;原生支持 65,536 token 上下文,通过 LongRoPE 可扩展至 131,072 token。
目前,模型已在 Github、Hugging Face、魔搭社区开源
🔗Github:https://github.com/OpenBMB/MiniCPM
🔗Hugging Face: https://huggingface.co/openbmb/MiniCPM4.1-8B
🔗ModelScope:https://modelscope.cn/models/OpenBMB/MiniCPM4.1-8B

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
光刻机巨头 ASML 领投 Mistral AI 17 亿欧元 C 轮融资
2025年9月8日,荷兰光刻机巨头阿斯麦(ASML)宣布领投法国AI初创公司Mistral AI的17亿欧元C轮融资,注资13亿欧元(约15亿美元),成为其最大股东并获董事会席位。融资后Mistral AI估值达100亿欧元(约117亿美元),成为欧洲估值最高的人工智能企业。 作为先进芯片制造设备的关键供应商,ASML 的这笔投资旨在强化欧洲科技主权,减少欧洲对美国和中国 AI 模型的依赖。Mistral AI 自 2023 年成立以来发展迅速,被视为法国乃至欧洲 AI 领域的领军者,竞争对手包括美国的 OpenAI 和谷歌等科技巨头。 通过此次合作,ASML 不仅能借助 Mistral AI 的数据分析和 AI 能力提升自身设备性能,还有望助力欧洲在全球科技竞争中脱颖而出。
-
下一篇
Tilde AI 发布开源 TildeOpen LLM
Latvian 语言技术公司 Tilde 发布了 TildeOpen LLM,这是一个开源的基础大语言模型(LLM),旨在支持欧洲语言,特别是那些较少被代表的国家和地区语言。这一举措标志着欧盟在语言公平和数字主权方面迈出了重要的一步。 TildeOpen LLM 是一个拥有300亿参数的稠密解码器模型,采用了 CC-BY-4.0的宽松许可证,能够支持从拉脱维亚语、立陶宛语到乌克兰语、土耳其语等多种语言。该模型的训练是在欧洲的超级计算机 LUMI(芬兰)和 JUPITER 上进行的,使用了欧盟委员会的大型人工智能大奖挑战赛所提供的200万 GPU 小时的计算资源。 在技术细节方面,TildeOpen LLM 通过受 EleutherAI 启发的 GPT-NeoX 脚本进行训练,共进行了45万次更新,使用了约2万亿个令牌。其训练过程包含三阶段采样:首先在语言间均匀分布,其次是对高数据量语言的自然分布进行增强,最后再进行均匀的扫查以确保平衡。模型的超参数包括60层、嵌入维度6144、48个注意力头、8192-token 的上下文窗口,以及使用 SwiGLU 激活、RoPE 位置编码和 RMS...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Dcoker安装(在线仓库),最新的服务器搭配容器使用
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- MySQL数据库在高并发下的优化方案
- SpringBoot2配置默认Tomcat设置,开启更多高级功能