苹果开源两大模型家族:FastVLM 与 MobileCLIP2
苹果在 Hugging Face 上开源了 FastVLM 和 MobileCLIP2 两大模型家族:
- FastVLM 是一种视觉语言模型(VLM),专为高分辨率图像设计,旨在减少 token 输出并压缩编码时间,可以高效地理解图像和文本之间的关系。
- MobileCLIP2 是 CLIP 模型的轻量化、移动端优化版本,专注于在手机或边缘设备上进行高效推理。
FastVLM系列包含0.5B、1.5B、7B三个参数规模,全部基于新提出的FastViTHD混合视觉编码器,专为高分辨率图像输出更少token、压缩编码时间。FastVLM-7B在DocVQA达到93.2,在ScienceQA达到96.7,表现领先。
MobileCLIP2系列同样上线,提供相应 Hugging Face Collections 页面。
CVPR 2025论文《FastVLM: Efficient Vision Encoding for Vision Language Models》已公开,引用信息随模型仓库一并提供。
https://huggingface.co/collections/apple/fastvlm-68ac97b9cd5cacefdd04872e https://huggingface.co/spaces/apple/fastvlm-webgpu
https://huggingface.co/collections/apple/mobileclip2-68ac947dcb035c54bcd20c47