AI还原李焕英老照片动态影像，致敬每一位妈妈-低调大师

AI还原李焕英老照片动态影像，致敬每一位妈妈

2021-02-24 598

点击“机器学习与生成对抗网络”，关注星标

获取有趣、好玩的前沿干货！

机器之心报道 编辑：张倩

「从我有记忆开始，妈妈就是中年妇女的模样，所以我会忘记，她也曾是花季少女。」

春节档上映的《你好，李焕英》让不少人在影院哭得稀里哗啦，它戳中了每个人心里最柔软的部分。有人看完电影之后会给妈妈打个电话，有人会拿出妈妈年轻时的照片，感叹一下爸爸的基因为什么要那么强大。

B 站知名 up 主大谷也是《你好，李焕英》的影迷之一，不过他做了一点不一样的事情：尝试用一系列 AI 技术修复了李焕英年轻时的黑白照片，不仅给照片上了色、提高了分辨率，还让照片中的人物动了起来。

原始黑白照片。

修复后的动态彩色照片。

整个修复的流程并不复杂，涉及 AI 色彩还原、AI 清晰度增强、脸部精修、手绘微调等过程：

最终的修复效果如下：

大谷表示，他是偶然间看到了这张老照片，很有感触，于是试着用 AI 脑补还原了一下拍摄前的动态影像。不过，由于还原场景动态与上色是基于 AI 技术生成，具有一定的想象元素，因此不等于准确还原。

为了帮助大家掌握这项技能，大谷还公布了他用到的两个开源项目：飞桨 PaddleGAN 和 DFDNet。

飞桨 PaddleGAN

GAN 的全称是生成对抗网络，被「卷积网络之父」Yann LeCun（杨立昆）誉为「过去十年计算机科学领域最有趣的想法之一」，是近年来火遍全网、AI 研究者最为关注的深度学习算法方向之一。

GAN 在诸多领域都有着成功的应用，如图像生成 / 修复、超分辨率、图像噪声消除、换装 / 妆、图像风格迁移、文字 / 声音生成等，覆盖互联网、娱乐、游戏等各个行业。

为了给开发者提供经典及前沿的生成对抗网络高性能实现，并支撑开发者快速构建、训练及部署生成对抗网络，百度飞桨打造了一个图像生成模型库——PaddleGAN，覆盖 Pixel2Pixel、CycleGAN、StyleGAN2、PSGAN 等经典 GAN 模型，支持视频插帧、超分辨率、老照片 / 视频上色、视频动作生成等应用。

除了上面展示的视频修复，PaddleGAN 还能提供各类不同的图形影像生成、处理能力。人脸属性编辑能力能够在人脸识别和人脸生成基础上，操纵面部图像的单个或多个属性，实现换妆、变老、变年轻、变换性别、发色等，使得一键换脸成为可能 *；* 动作迁移能够实现肢体动作变换、人脸表情动作迁移等。

比如这样：

让苏大强表达心中之痛，唱起 unravel（视频链接：https://www.bilibili.com/video/BV1Yy4y1r7DC）。

这样：

还有这样：

PaddleGAN 项目链接：https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

DFDNet

近年来，基于参考的人脸修复方法已经受到了很多关注，但这些方法大多需要来自相同身份的高质量的参考图像，因此只适用于有限的场景。为了解决这一问题，来自哈尔滨工业大学、香港大学等机构的研究者在《Blind Face Restoration via Deep Multi-scale Component Dictionaries》一文中提出了一种名为深度人脸字典网络（deep face dictionary network，DFDNet）的方法来指导退化观测（dgraded observation 的修复过程。

首先，作者使用 K-means，利用高质量图像为感知显著的人脸部位（如左 / 右眼、鼻子和嘴）生成深度字典。接下来，利用退化输入（degraded input），研究者从相应的字典中匹配和选择最相似的部位特征，并通过提出的字典特征迁移块（DFT）将高质量的细节迁移到输入上。最后，利用多尺度字典逐步实现从粗粒度到细粒度的修复。

实验结果表明，作者提出的方法在定性和定量评估中都能实现合理的性能。更加重要的是，该方法可以在不需要 identity-belonging 参考的情况下，利用真实的退化图像（degraded image）生成逼真、有前景的结果。以下是一些人脸修复效果展示：

该网络的基本结构如下：

网络主要包含两个部分：a. 从大量包含各种姿态和表情的高质量图像中离线生成多尺度组件字典。这部分使用 K-means 算法为每个部位（即左 / 右眼、鼻子和嘴）在不同尺度上生成 K 个簇；b. 修复过程和字典特征迁移（DFT）块，用于以渐进的方式提供参考细节。

论文链接：https://arxiv.org/pdf/2008.00418.pdf
项目链接：https://github.com/csxmli2016/DFDNet

参考链接：

https://mp.weixin.qq.com/s/xSic1Tk93dk_N1qMylymtg

https://www.bilibili.com/video/BV1wh411k7YN?p=1&share_medium=iphone&share_plat=ios&share_source=WEIXIN_MONMENT&share_tag=s_i×tamp=1613972331&unique_k=KQGwoS

猜您喜欢：

超100篇！CVPR 2020最全GAN论文梳理汇总！

拆解组新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多样性图像生成

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

本文分享自微信公众号 - 机器学习与生成对抗网络（AI_bryant8）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/u/4579551/blog/4962671

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hexo Fluid 博客主题更新 1.8.8 版本

主要更新内容自定义页与关于页支持评论友链页支持自定义区域和评论友链页增加默认头像多语言增加繁体中文优化一些样式关于 Fluid Fluid 是一款基于 Hexo 框架的 Material Design 风格主题。该主题相较于其他主题的优势： 1. 优雅的颜值，使用 Material Design 风格突出层次感，但又不失简约，让用户能专注于写作； 2. 提供大量定制化配置项，使每个用户使用该主题都能具有独特的样式； 3. 响应式页面，适配手机、平板等设备，包括极端的分辨率都能轻松应对； 4. 主题中少有的整合了 LaTeX 和 mermaid 的支持目前具有的功能特性：图片懒加载自定义代码高亮方案内置多语言支持多款评论插件支持使用数据文件存放配置自定义静态资源 CDN 无比详实的用户文档内置文章搜索页脚备案信息网页访问统计支持脚注语法支持 LaTeX 数学公式支持 mermaid 流程图暗色模式详情查看：https://github.com/fluid-dev/hexo-theme-fluid/releases/tag/v1.8.8

2021-02-25

700

点击“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！ A Style-Based Generator Architecture for Generative Adversarial Networks 1. 摘要 StyleGAN受风格迁移style transfer启发而设计了一种新的生成器网络结构。新的网络结构可以通过无监督式的自动学习对图像的高层语义属性做一定解耦分离，例如人脸图像的姿势和身份、所生成图像的随机变化如雀斑和头发等。也可以做到一定程度上的控制合成。为了量化插值质量和解纠缠度，还提出了两种计算方法。最后，还介绍一个新的、高度多样化和高质量的人脸数据集。 2. 背景 GAN所生成的图像在分辨率和质量上都得到了飞速发展，但在此之前很多研究工作仍然把生成器当作黑箱子，也就是缺乏对生成器进行图像生成过程的理解，例如图像多样性中的随机特征是如何控制的，潜在空间的性质也是知之甚少。受风格迁移启发，StyleGAN重新设计了生成器网络结构，并试图来控制图像生成过程：生成器从学习到的常量输入开始，基于潜码调整每个卷积层的图像“风格”，从而直接控制图像特征；另外，结合...

2021-02-24

909

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。