腾讯混元公布 SRPO 技术，解决大模型生图“过油”问题
腾讯混元团队发布了最新研究成果 —— SRPO（Semantic Relative Preference Optimization，语义相对偏好优化），主要提供了文生图模型的强化算法，解决了开源文生图模型Flux的皮肤质感“过油”的问题，能让人像真实感提升3倍。 根据介绍，针对Flux.dev.1模型生成的人物质感“过油”的问题，SRPO 通过在线调整奖励偏好，优化早期生成轨迹等手段很好的解决了这个问题。 文生图领域传统的在线强化学习方法（如ReFL，DRaFT）虽展现极高的训练效率，但强依赖一个预先训练好的奖励模型。这些奖励模型除了需要耗费大量的成本收集数据外，还面临泛化性差的问题，通常难以满足多样化，高质量的后训练需求。 为了解决这个问题，腾讯混元团队联合香港中文大学（深圳）和清华大学提出了：语义相对偏好优化，通过语义偏好实现奖励模型的在线调整。 具体来说，SRPO通过为奖励模型添加特定的控制提示词（如“真实感”）来定向调整其优化目标。实验结果显示，这些控制词可以显著增强奖励模型在真实度等特定维度的优化能力。 研究人员进一步发现，单纯的语义引导仍存在奖励破解（rewardhacki...
