面壁智能开源端侧多模态大模型：MiniCPM-Llama3-V 2.5-低调大师

面壁智能开源端侧多模态大模型：MiniCPM-Llama3-V 2.5

2024-05-21 284

面壁智能开源了端侧多模态模型 MiniCPM-Llama3-V 2.5，且支持 30+ 多种语言。

MiniCPM-Llama3-V 2.5 是 MiniCPM-V系列的最新、性能最佳模型。总参数量8B，多模态综合性能超越 GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max 等商用闭源模型，OCR 能力及指令跟随能力进一步提升——精准识别难图长图长文本，并支持超过30种语言的多模态交互。

通过系统使用模型量化、CPU、NPU、编译优化等高效推理技术，MiniCPM-Llama3-V 2.5 可以实现高效的终端设备部署。

官方称 MiniCPM-Llama3-V 2.5 实现了「以最小参数，撬动最强性能」的最佳平衡点。

运行示例

➤ MiniCPM-Llama3-V 2.5 开源地址：https://github.com/OpenBMB/MiniCPM-V
➤ Hugging Face下载地址：https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5

微信关注我们

原文链接：https://www.oschina.net/news/293496

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

文心大模型两大主力模型全面免费

百度智能云发文宣布，文心大模型两大主力模型全面免费，立即生效。分别为该公司于今年 3 月推出的两款轻量级大模型 ERNIE Speed 和 ERNIE Lite，支持 8K 和 128k 上下文长度。此轮价格战由日前字节推出的全网最低价豆包大模型掀起。豆包主力模型在企业市场的定价只有 0.0008 元 / 千 Tokens，0.8 厘就能处理 1500 多个汉字，比行业便宜 99.3%。阿里云也于今日宣布，通义千问 GPT-4 级主力模型 Qwen-Long，API 输入价格从 0.02 元 / 千 tokens 降至 0.0005 元 / 千 tokens，直降 97%，1 块钱可以买 200 万 tokens。相关阅读：字节跳动发布豆包大模型，日均处理 1200 亿 Tokens 文本通义千问 GPT-4 级主力模型降价 97%，1 块钱 200 万 tokens

2024-05-21

280

一、背景最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。本文基于我们在部署大模型推理集群时的一些经验，分享一些有效提升大模型的推理速度方法。最后，我们在结尾处推荐了几个经过我们评测且表现优异的大模型推理框架。希望这些建议能帮助读者在项目中选择适合自己的推理框架。 OpenAI的科学家Hyung Won Chung在2023年的公开演讲《Large Language Models》[8]中指出，大模型的某些能力仅在达到特定规模时才能显现，可见未来大模型的参数量肯定会越来越大，这也是大模型的发展趋势。随着参数量的增加，对大模型的推理速度要求越来越高，有哪些方法可以提高大模型的推理速度或吞吐量？首先我们将探讨大模型的加速优化方向，随后文章将依据时间线，介绍一些业界内较为经典的实用大模型加速技术，包括但不限于“FlashAttention[1]”和“PageAttention[3]”等技术。以下为按时间顺序业界的一些经典大模型推理加速技术，本文试图为读者提供一个按时间发展顺序的大模型加速方法综述。 ...

2024-05-21

256

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。