本文介绍了淘宝家装行业自主研发的图像分割与抠图系统——JianYi，该系统专注于提升室内家装场景下的图像处理能力，具备商品分割、人体分割和全景分割三大核心功能。通过多模态交互设计和高效算法优化，JianYi不仅实现了高精度、实时性的抠图效果，还广泛应用于“家作”和“放我家”等AI工具中，显著提升了用户体验和业务指标。

引言

在电子商务领域，图像分割与抠图技术扮演着关键角色。这些技术不仅为多种在线应用提供便利功能，还作为高质量数据的重要来源，支持多项业务流程和模型训练。在室内家装场景中，图像分割与抠图的需求尤为迫切，面临特定复杂案例及独特的优化需求。然而，传统方法在精度、交互能力和场景适应性方面存在不足。 

为此，我们自主研发了JianYi（剪艺）分割算法，专注提升分割精度，并提供三种交互方式，实现更高效的多模态交互体验。此外，该算法针对室内家装场景进行了专门优化，确保在复杂环境中依然能保持卓越性能。基于此，我们构建了淘宝家装行业的分割与抠图系统，涵盖商品分割、人体分割和全景分割三大核心功能。该系统能够稳定、高效地处理每日百万级的数据，展现出色的精度、性能和多模态交互能力。

商品分割 (边缘清晰&镂空精确)		人体分割 (摆件打组完整&家具分离干净)		全景分割 (主家具打组完整&边缘清晰)

业务应用

JianYi分割算法在淘宝家装行业的"家作"和"放我家"两大AI应用中展现出卓越的性能。专注于室内家装场景，该算法通过多模态交互技术实现高精度的图像抠图功能。其创新设计不仅提升了用户体验，还显著提高了操作效率，为家装行业带来了全新的智能解决方案。

JianYi同时支持在线实时抠图，以及离线批量抠图：1）家作官网支持实时抠图，用户根据需求选择一键抠图和选品抠图，支持室内商品抠图。2）淘宝的“放我家”应用中，截止2025年1月，每日抠图数量120万，覆盖绝大部份家具家饰类目，带来DAU增长196%(2024年10月2.5w -> 2025年2月7.4w)。3）JianYi分割算法也为团队内累计生产200万的高精度分割数据，用于内部模型训练。

▐  家作--商品分割

在“家作”应用中，JianYi分割算法被用于“智能抠图”和“室内棚拍”功能。“智能抠图”功能中，“一键抠图”模式可以自动识别主要家具，而“选品抠图”模式则允许用户手动选择区域以获得更精确的结果。“室内棚拍”功能中，分割算法用于前处理，确保高效的图像处理。

应用地址：https://jiazuo.taobao.com/#/matting

一键抠图

选品抠图

室内棚拍-前处理

▐   放我家--商品分割

在“放我家”应用中，JianYi分割算法应用于前台展示、商品重绘和商家后台。前台展示中，算法通过类目文本和图像作为多模态输入，对商家SKU图进行抠图，并在淘宝的“放我家”页面展示主商品。商品重绘后，算法再次进行抠图以确保最终展示效果。在商家后台，上传的素材也通过该算法进行精准抠图处理。

功能入口(前台展示)	选择放置的场景	重绘以及抠图	输出结果

▐   家作--人体分割

为了提升“家作”应用中AI模特生成模型的性能，我们自研了 JianYi_human 人体分割算法，以提供高精度的人体分割数据。该算法专门解决“人体与摆件打组”和“人体与家具分离”两类特异性需求。它不仅用于AI模特训练的数据离线生产，还支持在线的人体抠图应用，确保模型训练与实际应用的高效结合。

模特场景图	人体分割	模特场景图	人体分割

▐   放我家--全景分割

在“放我家”应用的“家还原”功能中，我们采用JianYi_panoptic全景分割技术，为室内家装场景提供前后景分离和软装分层。前后景分离利用精准分割去除软装元素，仅展示硬装。软装分层则让每个软装元素独立分离，用户可在整洁的房间中自由编辑和替换，实现个性化家装设计。

进入放我家	上传家照片	软装分层	前后景分离(软装移除)

技术路线

▐   商品分割

JianYi采用显著性分割模型来分割室内场景，并通过多源数据策略优化模型，以提升其在复杂环境中的表现。结合闭集和开放集检测模型，通过提示（prompt）实现多模态的抠图功能，支持图文输入、单图输入和图框输入三种交互方式，操作灵活。在抠图的后处理阶段，我们摒弃传统的腐蚀和膨胀方法，采用联通域合并和最小集提取技术来过滤噪声，确保抠图结果更清晰准确。

• 多源数据集构建策略

JianYi通过多源数据集构建策略，旨在优化显著性分割模型，以提升其在室内场景中的表现。具体而言，我们结合使用了3D渲染数据、人工抠图数据和合成数据，以覆盖广泛的家装类目并增强模型的泛化能力。

3D渲染数据		人工抠图数据		合成数据

3D渲染数据从室内场景中生成，涵盖超过10种家装类目，其高精度在镂空和细枝细节上表现卓越，成为训练的重要参考。然而，其边缘不够平滑，需谨慎使用，以避免影响模型精度。

人工抠图数据涵盖大部分家装类目，尤其在床、沙发、桌、椅、柜五类中丰富。为满足电商需求，还添加了白底图和尺寸线条抠图。高边缘精度和电商特征明显提升了模型分割能力。

合成数据针对牛皮癣场景设计，处理商品与牛皮癣遮挡关系。通过白底图与牛皮癣模板叠加，生成可靠分割结果，使模型在复杂遮挡情况下提高准确性，有力支持高精度分割。

• 显著性分割模型优化

JianYi运用多源数据集策略构建训练集，选择BiRefNet作为显著性分割模型的baseline。通过双向参考机制增强细节捕捉能力，使其在复杂场景下表现优异。我们利用室内家装场景的多源数据，丰富模型训练素材。通过优化显著性分割，提升了模型的分割效果。

具体优化包括：提高商品完整度分割的准确性，专注于主体商品分割以提升精确性，以及去除商品周围牛皮癣和尺寸线条，改善分割纯净度和视觉效果。

原图	优化前	优化后	原图	优化前	优化后

• 联合使用闭集和开放集的检测模型

JianYi结合闭集检测模型YOLO11和开放集检测模型Grounding DINO，实现高效的图像对象检测和分割。YOLO11通过3D数据训练，精准识别常见家装物品，并经过微调提高准确度；Grounding DINO补充检测非常规类目，两者结合可以提供全面准确的检测结果。

抠图过程中，图像检测模块优先使用YOLO11识别常规类别，Grounding DINO处理非常规类目，确保获取精确目标边界框。系统还可识别特定家具组合，保证检测完整性和准确性。生成的边界框用于后续显著性分割。

在分割阶段，显著性分割模型对边界框区域进行细粒度分割，生成高精度掩码。最终输出包括过滤后的边界框、标签和掩码，为图像处理和分析提供坚实基础和可靠技术支持。

	Grounding DINO	YOLO11
	bed被检测错误

• 三种多模态的抠图交互方式

JianYi设计了三种创新交互方式，满足用户不同情况下的图像分割需求，提供简单到复杂的解决方案，实现高效精准的分割结果。

1. 单图输入模式：用户只需上传一张图片，系统自动应用显著性分割算法，智能识别并提取图像中的主商品，输出透明底图，适合快速获取主要图像信息。

2. 图文输入模式：结合图像和标签输入，系统利用训练模型定位分析，并生成与标签匹配的商品透明底图，适合精准处理特定商品。

3. 图框输入模式：用户输入图片和边界框，系统根据框内区域进行详细分割，输出透明底图，提供精细控制，适用于特定区域的深入分析。

这些交互方式提升了图像处理效率和精准性，为用户提供多样选择，灵活适应复杂应用场景，充分发挥系统潜力。

• 抠图后处理链路

JianYi摒弃了传统抠图算法中的腐蚀和膨胀后处理方法，以避免分割精度下降。通过引入精细的噪声过滤和主物体提取策略，显著提升图像分割的准确性和有效性。传统方法依赖形态学操作来消除噪声，易导致细节丢失和误标记。我们采用噪声过滤机制，分析掩码并保留最大连通区域，去除孤立噪声，确保分割结果的纯净度。在多掩码合并中，我们设计了一种优化策略，合并独立掩码并选择最大区域作为最小集，确保分割结果集中于主要物体，避免无关区域干扰。

这些创新方法提升了抠图算法的分割精度，不依赖传统操作，提高了图像处理的准确性，为复杂场景下的分析提供可靠技术支持，满足用户高精度处理需求。

• 与竞品的效果对比

JianYi抠图应用可以精准抠出目标商品，外部抠图应用则更容易出现背景残留、抠出多主体、主商品不完整等问题。

原图	外部算法*1	JianYi	原图	外部算法*2	JianYi

原图	removebg	JianYi	原图	美图	JianYi

注：外部应用的抠图效果统计于2025年2月

▐   人体分割

AI模特的模型训练依赖于高精度的人体分割数据，以提升其性能。在家装场景中，自研人体分割模型JianYi_human针对“人体与摆件打组”和“人体与家具分离”两类特异性需求，通过SFT优化，增强了打组完整性以及遮挡部分的分割精度。该模型不仅用于AI模特训练的数据离线生产，还支持人体抠图的在线应用，持续提高分割效果和应用效率。

原图	外部 算法	内部baseline	JianYi_human

▐   全景分割

在室内环境中，全景分割是一项重要的技术。它能够识别和标记图像中的每一个物体和背景，为每个像素赋予标签，从而实现对场景的全面理解。这项技术对于智能家居、机器人导航以及增强现实等领域至关重要，能够帮助设备在复杂环境中做出更加明智的决策。JianYi_panoptic技术通过全景分割模型解析室内场景，结合数据工程、模型SFT以及算法和工程链路优化，显著提升模型效果。

	原图	全景分割	全景分割_with cls	前后景分离
开源oneformer
JianYi_panoptic
		增加打组效果	类别使用内部名称	左边背景分离干净

总结与讨论

在电子商务领域，图像分割与抠图技术至关重要，尤其在室内家装场景中，需要面对复杂案例和优化需求。为满足市场需求，我们研发了JianYi（剪艺）分割算法，并开发了淘宝家装行业的分割与抠图系统，涵盖商品分割、人体分割和全景分割三大功能。该系统稳定高效地处理每日百万级数据，展现出卓越的精度、性能和多模态交互能力，为在线应用和模型训练提供高质量数据支持。同时，我们团队正在进行家装行业AI技术的相关研发，以提高家装AI模型的效果。我们希望与对此方向感兴趣的同学一起探讨和交流。

团队介绍

本文作者阿元，来自淘天集团 - 场景智能技术团队。一支专注于通过 AI 和 3D 技术驱动商业创新的技术团队，依托大淘宝丰富的业务形态和海量的用户、数据，致力于为消费者提供创新的场景化导购体验，为商家提供高效的场景化内容创作工具，为淘宝打造围绕家的场景的第一消费入口。我们不断探索并实践新的技术，通过持续的技术创新和突破，创新用户导购体验，提升商家内容生产力，让用户享受更好的消费体验，让商家更高效、低成本地经营。

¤  拓展阅读  ¤

3DXR技术 | 终端技术 | 音视频技术

服务端技术  |  技术质量 | 数据算法