点击上方“视学算法”，选择加"星标"或“置顶”

重磅干货，第一时间送达

鱼羊 萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

哈利波特世界里，能让报纸上的照片动起来的魔法，现在麻瓜们已经掌握得越来越熟练了。

看，16岁的图灵正穿越时空朝你眨眼、微笑，神态十分自然。

原本在老照片中沉默的美人，当年眼波流转、巧笑倩兮的模样，也重新清晰呈现。

而这样的全家福，是否唤醒了一段有关过往的回忆？

这就是这个周末国外社交媒体上最火的AI应用，呈现在人们眼前的“魔法”。

连李开复本人都忍不住玩了一把……

无需掌握什么技术，只要在MyHeritage这个网站上上传一张老照片，10-20秒之后，AI就会自动帮你赋予照片“生命”。

甚至是雕塑也一样OK：

△图源：twitter@FlintDibble

如此自然的效果，让不少网友感叹：这非常哈利波特。

任何足够先进的技术都无法与魔法区分开来。

神奇的是，这是一个在线家谱网站…

所以，这个当红炸子鸡MyHeritage是什么来头，咋就突然掀起热潮了？

当你点进这个网站，你会发现它的本职其实是一个在线家谱平台……

真的能帮你方便整理家谱的那一种……你可以在其中填写每一个家庭成员的信息、上传照片。

△是的还有官方中文

其背后的公司2003年创办于以色列。截至2020年，该网站已支持42种语言，在全球拥有超过5000万用户，并已为用户构建了约5200万个家谱……

虽然创始人Gilad Japhet是在一个家庭农场里搞出了这么一家公司，但扒一扒他们过往的发展历程，会发现MyHeritage还真是前沿技术弄潮儿。

比如2006年，MyHeritage就推出了人脸识别功能，这个功能可以帮用户从照片数据库中识别人脸特征，将个体联系在一起。

2016年，MyHeritage还推出了一项基因检测服务，号称能帮你发现你的种族起源，并寻找到新的亲戚……目前售价59美元。

据《国家地理杂志》报道，2018年，MyHeritage提供了5000份这样的DNA检测工具包，帮助在美墨边境散失的移民家庭团聚。

而公开资料显示，到2019年为止，MyHeritage成为了全球第三大DNA检测公司。

嗯，从制作家谱，到DNA检测，再到用AI“复活”老照片，这个技术发展路径还真挺合理呢！（手动狗头）

不仅变高清，还能动起来

咳咳，梳（ba）理（gua）完了，我们还是照例说回到技术本身。

虽然MyHeritage没有详细说明这一火爆应用背后的技术细节，但大致上，让老照片动起来的效果，需要两步来完成。

先是用超分辨率，让照片变得更高清：

然后再用动作迁移，将另一个视频中的人物动作，“迁移”给照片中的人物。

首先，是超分辨率技术，也就是通过降噪、增加分辨率等方法，来增加照片的清晰度。

这里，就需要GAN来发挥作用了，对这种模型进行训练后，再采用其中的生成器，来对低频图像进行重建。

整体而言，GAN能够解决MSE损失函数缺少高频信息的问题，从而补全图像中有关高频细节的内容。

△深度生成算法ILO

利用这种方法重建的图像，能构造出非常细节的人脸图像，甚至连马赛克人脸都能还原：

不过，这种方法也有一些问题，那就是在还原图像的过程中，模型会更注重图像风格的相似、而非像素的相似（即感知相似）。

所以即使人物逼真，在细节上也可能会出现像这样与原图不一致的情况：

△深度生成算法ILO

当然，将图片变得清晰后，还需要利用动作迁移，让照片动起来。

这项技术能实时提取一段视频中的任务关键点，并将这些关键点和照片中的人脸关键点对应起来。

利用一项名为“骨架”（skeleton）的技术，模型将视频人物的关键点提取出来，并给照片中的人物也标记上对应的关键点。

△动作迁移算法TransMoMo

然后，再一帧帧将视频人物的动作“迁移”到图片中去。

通过这种方法，哪怕只有一张照片，也能让里面的人物跟着“开口说话”：

确实接近于“魔法”了。

有人感动，也有人担心

除了对“魔法”效果的惊叹，这样的技术，也实实在在带来了感动。

在reddit热度高达2.9k的火爆讨论之中，就有网友写下了自己的真实感受：

我试了试我父亲的老照片，效果令我哽咽。他在我几个月大时就去世了，这是我第一次看见他动起来，眨眼、微笑……

也有网友提出，这要是搭配上AR放到博物馆里，让照片里的人亲自给你讲述他们的人生故事，那真的简直了。

不过，也有不少网友表示，担心这样的技术被滥用，比如拍摄某些小电影……

而虽然MyHeritage强调他们不会向任何第三方提供用户上传的照片，并且未被完全注册的照片会被自动删除，但网友仍然对数据泄露表示担忧。

毕竟MyHeritage本来也有过翻车历史……

2018年6月，MyHeritage被发现一个安全漏洞，泄露了超过9200万名用户的数据。

这些数据，包括用户的Email地址和密码。

虽然MyHeritage声称，用户家谱、DNA图谱和信用卡等信息存储在另一个系统，未被泄露，且在漏洞发现当天就对用户进行了双重身份验证。

但2019年12月，这些泄露的信息却出现在了各种非法网站上，正被出售（而且出售的信息不止Email地址和密码）。

参考链接：
[1] 网站地址：https://www.myheritage.cn/deep-nostalgia/result/866401141-500002
[2] https://www.theverge.com/2021/2/28/22306097/ai-brings-still-photos-life-meme-twitter-geneaology-myheritage
[3] https://arxiv.org/abs/2102.07364
[4] https://arxiv.org/abs/2003.14401

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

点个在看 paper不断！