中山大学联合美团打造 X-SAM 模型
中山大学、鹏城实验室与美团三方联合研发的X-SAM图像分割模型近期正式发布,这款多模态大模型在图像分割领域实现了重要突破,将传统的"分割万物"能力升级为"任意分割",显著提升了模型的适应性和应用范围。 传统的Segment Anything Model(SAM)虽然在生成密集分割掩码方面表现出色,但其只能接受单一视觉提示输入的设计局限性明显。针对这一技术瓶颈,研究团队创新性地提出了视觉定位分割(Visual Grounded Segmentation, VGS)任务框架,通过交互式视觉提示实现对所有实例对象的精确分割,为多模态大语言模型提供了像素级的理解能力。 X-SAM的技术架构采用了多项创新设计。模型支持统一的输入格式和输出表示,能够处理多种类型的视觉和文本查询输入。其核心的双编码器架构确保了对图像内容和分割特征的深度理解,而分割连接器则提供多尺度信息融合,大幅提升分割精度。 最值得关注的是,X-SAM集成了最新的Mask2Former架构作为分割解码器,这使得模型能够在单次操作中同时分割多个目标对象,彻底突破了传统SAM只能处理单一对象的技术限制。这一改进不仅提高了处理效率,也为...
