苹果推出新图像模型 Manzano 实现理解与生成双重能力

苹果公司最近在其研究中介绍了一种名为 Manzano 的新型图像模型,该模型旨在同时处理图像理解和生成。这一双重能力的实现是当前许多开源模型面临的技术难题,而苹果表示,这使其在图像处理的效率和效果上更接近商业系统,如 OpenAI 和谷歌所提供的技术。

目前,Manzano 尚未对外发布,也没有进行公开演示。但苹果的研究团队分享了一篇研究论文,附带了一些低分辨率的图像样本,展示了模型在处理复杂提示时的能力。这些样本与开源模型 Deepseek Janus Pro 和商业系统 GPT-4o、Gemini2.5Flash Image Generation(又名 “Nano Banana”)的输出进行了对比。在三组挑战性提示的测试中,Manzano 的表现与 OpenAI 的 GPT-4o 和谷歌的 Nano Banana 相当。

苹果指出,目前大多数开源模型的核心限制在于,它们往往需要在强大的图像分析和生成能力之间进行选择,而商业系统则能够两者兼顾。尤其是在处理包含大量文本的任务时,如阅读文件或解读图表,现有模型表现尤为乏力。

Manzano 的设计采用了一种混合图像标记器,这一核心理念使其能够输出两种类型的标记:连续标记和离散标记。连续标记用浮点数表示图像,用于理解,而离散标记则将图像划分为固定类别,以便于生成。由于两种标记都来自同一个编码器,这减少了传统模型中可能出现的冲突。

在训练阶段,Manzano 融合了连续和离散适配器来调整语言模型的解码器。推理时,它提供了理解和生成图像所需的两个数据流。Manzano 的架构主要由三部分组成:混合标记器、统一语言模型和用于最终输出的独立图像解码器。苹果构建了三种不同参数量的图像解码器,分别为0.9亿、1.75亿和3.52亿个参数,支持256到2048像素的分辨率。

苹果的测试结果显示,Manzano 在多个基准测试中表现优异,特别是在处理文本密集型任务如图表和文件分析方面,30亿参数版本的得分尤为突出。研究还发现,随着模型参数量从3亿到30亿增加,性能持续改善。

Manzano 不仅能处理经典的图像编辑任务,还能执行基于提示的编辑、风格迁移、图像填充、扩展和深度估计等新任务。苹果认为,Manzano 是现有模型的一个可行替代方案,其模块化设计可能会对未来的多模态 AI 产生深远影响。

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/374922

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。