基于「图像」的构成要素进行准则框架的定义，同时侧重「AI生成的特性」构建美学的标准：

图像构成：物形/环境/构图/光影/质感

AI生成特性：元素真实性&场景合理性

AI美学标准：5项准则，19项标准

我们的AI美学评价模型采用多模态美学预训练与多任务微调学习方式。这样做的优点如下：

1. 我们的模型参数较少，可快速训练迭代，推理速度快，可快速筛选高美学图像，也可测评不同生成模型的生成效果，减少人工标注与审核成本；

2. 相比于只输出美学分的模型，我们模型可以输出生成图像异常属性，可解释性较高；

3. 我们的模型输出的异常属性既可以作为生图修复的前置判别器，也可以为异常生成图像打标优化生成模型；

1. 制定评分规则：用于AI生图的评分规范（5档），以及用于原图筛选的评分规则（3档）。
2. 人模图原图美学评价能力：根据对人模、环境、构图、光影、质感等图像品质的偏好，训练专门的人模图原图美学模型，用于美学分层。可过滤的低美学类型包括图像模糊、白边图或贴图，人面部不完整或裁切，人体被遮挡多，背景差或者整体美感差等。
3. AIGC生图美学评价能力：我们的AIGC生图美学评价主要针对于含有人物的生图，从关注画面合理性与关注画面融合度两大方面出发，基于5大准则、19项标准要求，制定评分规则，同时针对生图异常属性进行标注。目前我们的模型已支持的异常属性包括人与背景融合度异常（人物悬空、背景质感差等）、手部异常、面部异常、肢体异常、其他异常等，输出的美学分范围1到5分。

图：AIGC生图美学评价预测的不同美学分数的图片

▐  测试阶段 

目标：运用美学模型，提升淘宝AI大模型的良图率。

▐  美学模型1.0版本-应用AI生图评测能力：

1. 目标：通过美学模型评测淘宝生成模型，对图片评分与画面问题的判定，对判定的图片问题进行修复。
2. 判定能力：可针对图片进行（1-5分）打分，筛选良图与差图，指导模型后续的优化建议。
3. 识别能力：目前可反馈5个关键画面属性。（1. 手部异常。2. 人与背景不融合。3. 脸部异常。4. 身体异常。5. 其他）。

4. 修复能力：AIGC生成人物时画好的手一直是难点，人的手部自由度高且姿态复杂多变、图中占比小且细节多，导致画手的成功率不高。特别地，在实际业务中，由于用户上传的图片手部细节不明显或者手中拿着物品等复杂场景，在进行换模特换背景时，生成模型往往不能学到手部的准确细节特征导致画出不好的手。我们探索全新的手部修复技术方案。由 AI美学评价模型判断生成异常的手，对异常的手，利用3D手部状态重建模型保持正确的手指数量与手的形状，同时能够自适应生成图像中所需的手势。基于我们内部基底模型，融合Text Embedding，根据重建后的手部姿态重新绘制正常的手。经过反复调试参数和场景适配，我们的手部修复方案在业务数据上测试，修复成功率超过50%，可大幅度提高整体的生图良图率。手部修复的case如下：

第四步：升级淘宝风格模型

1. 目前风格选择的丰富性不足，生图的场景和人物集中在特定的几个类型上。原先对于风格的设定采用穷举的方式。如背景生成的场景基本上是泳池、花园、商场、海滩、森林、雪山。

2. 因为原图本身的来源关系，图片的地域场景特色基本是西式。诸如东南亚的海滩、欧式花园、美式商场、美式泳池、北欧雪山。

3. 因为采用穷举的方式，导致工具的选择项过多，体验比较复杂，商家使用过程中会选择困难，采用不断尝试的方式。

▐  风格的框架设定

1. 对应美学标准的五大原则。进行细分的穷举，作为组合因子。
2. 风格类型分为平台品牌风格、趋势热点风格、经典艺术风格三类。
3. 基于风格趋向进行因子组合。形成风格的多元组合。

▐  风格标准的运用

▐  后续计划

1. 美学标准：发布淘宝AI美学标准，联动中国美术学院完成。

2. 风格标准：风格化标准完善，建立淘宝独有的风格体系。同时在产品侧进行测试。

3. 产品能力：发布 AI paas产品能力，联动千牛产品团队部署上线，提供给集团相关自研AI与第三方AI进行服务，也同步提升兼容性。