作为一种新的商品表现形态，内容几乎存在于手淘用户动线全流程，例如信息流种草内容、搜索消费决策内容、详情页种草内容等。过去一年，我们通过在视频生成、图文联合生成等核心技术上的持续攻关，AIGC内容生成在手淘多个场景取得了规模化落地价值。本专题《淘宝的AIGC内容生成技术总结》是我们摸索出的一部分实践经验，我们将开启一段时间的内容AI专题连载，欢迎大家一起交流进步。
第一篇《淘宝内容AI团队2024年8篇论文总结》
第二篇《内容AI: 目标驱动的图像生成》
在数字时代，电子商务等领域迅速发展，用户的购买力和消费需求不断增加。然而，面对陌生或首次接触的产品，用户往往缺乏相关背景知识，难以做出选择，因此依赖导购信息。纯文字导购内容由于信息密集、核心信息不够简明，常令用户感到困惑，削弱其指导效果。而图文并茂的导购内容能够结合简洁的核心信息与相关图像，快速吸引用户注意并高效传递关键信息，成为用户决策的首选。
然而，生产符合多变内容需求的图文导购模板依然面临诸多挑战。传统方法需要设计师创建模板，前端开发人员的介入与坑位的手动标注，过程耗时且成本高。此外，固定格式模板难以灵活应对内容的动态变化，例如产品对比表格需根据不同类别调整对比属性，增加了设计复杂性。随着产品种类和功能的多样化，提高模板内容生成效率成为迫切需求。
大模型凭借其强大的识别、理解和生成能力，能够自动提取关键信息并高效生成图文导购内容，为内容生产提供智能化解决方案。这不仅简化了从设计到实现的流程，还提升了内容创作的灵活性和速度，成为优化图文导购模板生产流程的创新方案。
![图片]()
模板生成
传统的模板生成流程主要包含两个关键阶段：设计和转译，都需要通过完全手动的方式来实现，因此往往耗费大量时间和人力资源。为了解决这一问题，我们研发了一种模板自动生成工具，旨在充分利用人工智能大模型的强大理解和生成能力，以优化整个模板生成的流程。
图2-1展示了基于大模型的模板生成的整体流程。在这个过程中，首先从设计师处获取模板设计图和相关素材，作为参考信息输入系统。大模型会对这些参考信息进行深入分析，随后生成相应的HTML代码。接下来，通过渲染工具将生成的HTML代码转换成用户可以查看的图像形式。用户看到这些图像后，可以根据其呈现效果提出建议，通过反馈机制将这些建议传递给大模型，指导其进一步优化HTML页面。这个循环过程不仅提高了模板生成的效率，也确保了最终产品更符合用户的期望与需求。
![]()
图2-1 模板生成整体流程
该工具能够通过分析和学习设计师提供的模板，自动生成相应的HTML代码，从而显著降低模板生成所需的时间和人力成本。如图2-2，左边是设计师设计的模板，右边是大模型生成的HTML代码的渲染结果。从图中可以看出，初步生成效果已足够接近，不仅保留了设计师模板所采用的配色、格式，还对模板中展示的内容进行了优化。
![]()
图2-2 模板生成工具的初步生成结果
对于部分不够符合预期的内容，模板生成工具还支持基于自然语言的修改操作。通过反馈链路，将用户提供的修改建议优化为大模型更容易理解的表达，并提供给大模型进行模板的进一步优化。如此反复直到获得所需要的页面效果。如图2-3所示，依次对模板的配色、字体颜色、背景色等进行了修改。
![]()
图2-3 模板生成工具的反馈迭代效果
此外，大模型的高效性大幅度降低了创意尝试的成本并提升了实现的效率，缩短了用户将想法转化为现实的时间，例如图2-4所展示的多种配色的快速试验与展示。这使得用户能够更快速且灵活地试验和调整视觉呈现效果，为他们的创新提供了一个高效实践和展示的工具。
![]()
图2-4 模板生成工具的配色效果的快速尝试
![图片]()
内容填充
当前模板坑位的手动标注与填充的实现和团队协作成本高，且形式单一，无法动态的适配输入，如图3-1。基于大模型的 HTML 模板填充具有高效、坑位填充准确和自适应等优势。
![]()
图3-1 传统表格类模板填充
图3-2 展示了我们基于大模型的模板填充的整体流程。从上游获取 HTML 模板后，大模型首先对模板进行解析，拆解 HTML 结构和内容，例如标题、副标题、段落个数等并整理为对应的格式输出。然后将商品信息、文章等送入大模型进行解析和改写，并进行模板的填充，最后输出填充后的 HTML 文件。
![]()
图3-2 html 模板内容填充整体流程
对于传统的 HTML 模板，需要标注每一个坑位是标题、图片、正文等，这需要大量的人工成本和耗时。对于大模型而言，它可以自动识别坑位的类别并进行相应内容的填写。图3-3展示给定一个非表格类模板，以及两个充电宝的商品信息，模型首先会对提供的 HTML 模板进行分析，从给定的商品信息中提取模板填充所需要的素材（标题、副标题、段落标题和正文）等，然后进行准确的、自适应的内容填写。我们的方案不仅可以准确填写文本内容，对于图像也可以进行准确的坑位填充，包括商品图像和装饰元素，进一步提升模板的灵活性和适用性。
![]()
图3-3 非表格类模板填充
![]()
图3-4 表格类模板填充
![图片]()
结语
随着技术的不断进步，大模型在内容生产领域展现出前所未有的潜力和优势。通过自动化模板生成和动态内容填充，大模型不仅显著降低了人力和时间成本，还极大地提升了内容创作的灵活性和精准性。设计师和前端工程师可以更加专注于创意和质量，而无需为繁琐的转义和填充过程所困扰。同时，大模型的强大理解和生成能力，使得模板和内容能够根据不同需求自适应调整，实现“千人千面”的个性化导购体验。未来，随着大模型技术的进一步成熟和优化，我们有理由相信，它将成为内容创作的更加智能的解决方案，推动导购类内容生产向着更加高效、智能和个性化的方向发展，为用户带来更加优质和贴心的购物指导。
我们是淘天内容AI团队，负责运用最新的生成式AI能力，挖掘淘宝核心场景的痛点问题，通过内容生成、智能交互等方式，改善用户购物体验、降低平台&商家经营门槛。在过去的几年团队持续以技术驱动产品和商业创新，在给业务创造价值的同时，也在Agent、可控图文、视频生成，多模态统一大模型等最前沿的技术领域也有着广泛布局和深度探索，在NIPS，CVPR，ICLR等顶会发表了数十篇论文，欢迎对团队技术工作感兴趣的同学进行交流或者加入我们。
