面壁智能开源端侧多模态大模型:MiniCPM-Llama3-V 2.5
面壁智能开源了端侧多模态模型 MiniCPM-Llama3-V 2.5,且支持 30+ 多种语言。
MiniCPM-Llama3-V 2.5 是 MiniCPM-V系列的最新、性能最佳模型。总参数量8B,多模态综合性能超越 GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max 等商用闭源模型,OCR 能力及指令跟随能力进一步提升——精准识别难图长图长文本,并支持超过30种语言的多模态交互。
通过系统使用模型量化、CPU、NPU、编译优化等高效推理技术,MiniCPM-Llama3-V 2.5 可以实现高效的终端设备部署。
官方称 MiniCPM-Llama3-V 2.5 实现了「以最小参数,撬动最强性能」的最佳平衡点。
运行示例
➤ MiniCPM-Llama3-V 2.5 开源地址:https://github.com/OpenBMB/MiniCPM-V
➤ Hugging Face下载地址:https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
文心大模型两大主力模型全面免费
百度智能云发文宣布,文心大模型两大主力模型全面免费,立即生效。分别为该公司于今年 3 月推出的两款轻量级大模型 ERNIE Speed 和 ERNIE Lite,支持 8K 和 128k 上下文长度。 此轮价格战由日前字节推出的全网最低价豆包大模型掀起。豆包主力模型在企业市场的定价只有 0.0008 元 / 千 Tokens,0.8 厘就能处理 1500 多个汉字,比行业便宜 99.3%。 阿里云也于今日宣布,通义千问 GPT-4 级主力模型 Qwen-Long,API 输入价格从 0.02 元 / 千 tokens 降至 0.0005 元 / 千 tokens,直降 97%,1 块钱可以买 200 万 tokens。 相关阅读: 字节跳动发布豆包大模型,日均处理 1200 亿 Tokens 文本 通义千问 GPT-4 级主力模型降价 97%,1 块钱 200 万 tokens
- 下一篇
KubeAI 大模型推理加速实践
一、背景 最近我们在生产环境批量部署了大模型专用推理集群,并成功让包括70B在内的大模型推理速度提升50%,大幅缩减部署成本,稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验,分享一些有效提升大模型的推理速度方法。最后,我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。希望这些建议能帮助读者在项目中选择适合自己的推理框架。 OpenAI的科学家Hyung Won Chung在2023年的公开演讲《Large Language Models》[8]中指出,大模型的某些能力仅在达到特定规模时才能显现,可见未来大模型的参数量肯定会越来越大,这也是大模型的发展趋势。随着参数量的增加,对大模型的推理速度要求越来越高,有哪些方法可以提高大模型的推理速度或吞吐量? 首先我们将探讨大模型的加速优化方向,随后文章将依据时间线,介绍一些业界内较为经典的实用大模型加速技术,包括但不限于“FlashAttention[1]”和“PageAttention[3]”等技术。 以下为按时间顺序业界的一些经典大模型推理加速技术,本文试图为读者提供一个按时间发展顺序的大模型加速方法综述。 ...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS6,CentOS7官方镜像安装Oracle11G
- Mario游戏-低调大师作品
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS关闭SELinux安全模块
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果