SAM适配下游任务的探究：SAM Adapter
本文分享自华为云社区《SAM适配下游任务的探究：SAM Adapter》，作者：Hint。 近期大模型的涌现给AI研究带来显著的发展，META的工作Segment Anything（SAM），就是其中一个为图像分割任务设计的基础大模型。SAM是一种交互型的图像分割大模型，通过提供的prompt如点、框、文本描述等粗略的提示，就可以分割出图像中指定的目标，其demo的效果十分惊艳。然而在某些特殊场景的图片上并不会带来如此惊艳的效果，可能是由训练数据的差异性导致，比如阴影检测、伪装目标检测。但SAM强大的分割能力依然可以作为我们微调模型的基础，更好地为下游任务服务。 本文介绍的方法SAM Adapter[2]，设计了一个Adapter模，它可以在不微调SAM网络的情况下，通过简单而有效的适配器，将领域特定的信息或视觉提示注入到分割网络中，从而提高SAM在特定任务上的性能。该论文在多个任务和数据集上进行了广泛的实验，包括ISTD阴影检测数据集、COD10K、CHAMELEON和CAMO伪装物体检测数据集，以及kvasir-SEG息肉分割（医学图像分割）数据集。实验结果表明，SAM-Adapt...
