基于飞桨PaddlePaddle实现的Sub-Pixel图像超分辨率-低调大师

基于飞桨PaddlePaddle实现的Sub-Pixel图像超分辨率

2020-11-30 624

基于飞桨 PaddlePaddle实现的Sub-Pixel图像超分辨率

1.项目介绍

本文则参考论文：Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network ，使用飞桨最新的分支版本，实现了一个轻量级图像的超分辨率模型，旨在带领各位小伙伴快速了解飞桨框架2.0，也可以在此基础上修改、优化模型，实现自己的超分辨率算法。

飞桨 PaddlePaddle最近迎来了重大更新，进入了2. 0时代。AI Studio也同步上线了最新版本得在线编程环境，又送免费GPU算力，这波羊毛不薅都对不起自己啊（手动狗头）。飞桨框架2.0新添加了许多常用的API，丰富的API接口给开发带来了便利，能够比较轻松的完成模型搭建及训练。如果小伙伴们对本项目感兴趣，欢迎来AI Studio Fork 运行尝试。

下载安装命令

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

AI Studio项目地址：
https://aistudio.baidu.com/aistudio/projectdetail/1109418

2.前言

图像和视频通常包含着大量的视觉信息，且视觉信息本身具有直观高效的描述能力，所以随着信息技术的高速发展，图像和视频的应用逐渐遍布人类社会的各个领域。近些年来，在计算机图像处理，计算机视觉和机器学习等领域中，来自工业界和学术界的许多学者和专家都持续关注着视频图像的超分辨率技术这个基础热点问题。

图像超分辨率的英文名称是 Image Super Resolution。它指的是从低分辨率图像中恢复高分辨率图像的过程。

这项技术在现实世界中有广泛的应用，最常见的应用场景就是图片的压缩传输：为了在同等带宽下获得更高的图像质量，超分辨率算法适用于低带宽时低质量图像上的增强。除了提升图像感知的品质，也有助于提升其他计算机视觉任务，例如遥感领域、医学成像领域。传统的超分辨率方法有：基于预测的方法、基于边缘的方法、基于统计的方法、基于修补的方法、以及稀疏表示方法等。

近些年深度学习技术的快速发展，使得基于深度学习的超分辨率模型性能优异，大量深度学习方法被应用于解决超分辨率任务，早期的代表作有SRCNN和SRGAN，近期CVPR2020上也有不少相关的论文，例如：DRN和USRNet。总的来说，深度学习超分辨率算法之间各不相同，主要是由于下面几个主要的方向：不同类型的网络结构、不同类型的损失函数、不同类型的学习原则和策略等。

SRCNN：

SRGAN：

DRN：

USRNet:

3.项目背景

3.1摘要：

近年来，基于深度神经网络的单图像超分辨率重建模型在重建精度和计算性能方面都有了很大的进展。但是这些算法都太复杂了，效率很低。在本文中，我们提出了一种新的CNN架构，可以有效地降低计算的复杂度。在公开数据集上的评估结果表明，该方法的性能明显优于之前基于CNN的方法（图像为+0.15dB），并且比其他基于CNN的方法快了一个数量级。

3.2 网络结构：

与以往的工作不同，此项目在网络的末端才将分辨率从LR提高到HR，并从LR特征图中超分辨率地解析HR数据。这样就不需要在更大的HR分辨率下执行大部分超分辨率SR操作。为此，我们提出了一种有效的亚像素卷积层来学习图像和视频超分辨率的上尺度运算。这样做有两个优点：
每个LR图像被直接送入网络，通过LR空间中的非线性卷积进行特征提取。由于输入分辨率降低，我们可以有效地使用较小的过滤器大小来整合相同的信息，同时保持给定的上下文区域。分辨率和滤波器尺寸的减小，大大降低了计算量和内存的开销，但是足以实时实现超分辨率。
对于一个有图层的网络，我们学习了特征映射的上尺度过滤器，而不是输入图像的一个上尺度过滤器。此外，不使用显式插值滤波器意味着网络隐式地学习SR所需的处理。因此，与在第一层向上扩展单个固定滤波器相比，网络能够学习更好和更复杂的LR到HR映射，这使得模型重建精度的有额外提高。

3.3 基于Paddle的代码：

这里仅展示了部分关键代码，详细实现请参考AI Studio项目:
https://aistudio.baidu.com/aistudio/projectdetail/1109418

3.3.1 数据预处理

飞桨框架2.0 为我们封装好了Dataset类，我们定义数据读取器类时只需要继承自它并实现__getitem__返回读取的内容和__len__方法返回数据的样本数。这里，我们需要数据读取器返回一张缩小后的图片和一张没有缩放的图片，这两张图片都只有Ycbcr通道中的Y通道，因为大量的研究表表明人眼对亮度更敏感，所以我们这里只对亮度通道Y进行采样。

class BSD_data(Dataset):

    def __init__(self,
                 mode='train',
                 image_path="data/data55873/images/"
                ):
        super(BSD_data, self).__init__()

        self.mode = mode.lower()
        if self.mode == 'train':
            self.image_path = os.path.join(image_path,'train')
        elif self.mode == 'val':
            self.image_path = os.path.join(image_path,'val')            
        else:
            raise ValueError('mode must be "train" or "val"')

        # 原始图像的缩放大小
        self.crop_size = 300
        # 缩放倍率
        self.upscale_factor = 3
        # 缩小后送入神经网络的大小
        self.input_size = self.crop_size // self.upscale_factor
        # numpy随机数种子
        self.seed=1337
        # 图片集合
        self.temp_images = []
        # 加载数据
        self._parse_dataset()

    def transforms(self, img):
        """
        图像预处理工具，用于将升维(100, 100) => (100, 100,1)，
        并进行维度转换 H W C => C H W
        """
        if len(img.shape) == 2:
            img = np.expand_dims(img, axis=2)
        return img.transpose((2, 0, 1))

    def __getitem__(self, idx):
        """
        返回 缩小3倍后的图片 和 原始图片
        """
        # 加载原始图像
        img = self._load_img(self.temp_images[idx])
        # 将原始图像缩放到（3, 300, 300）
        img = img.resize(
          [self.crop_size,self.crop_size], 
          Image.BICUBIC
        )

        #转换为YCbCr图像
        ycbcr = img.convert("YCbCr")

        # 因为人眼对亮度敏感，所以只取Y通道
        y, cb, cr = ycbcr.split()
        y = np.asarray(y,dtype='float32')
        y = y / 255.0

        # 缩放后的图像和前面采取一样的操作
        img_ = img.resize(
          [self.input_size,self.input_size], 
          Image.BICUBIC
        )
        ycbcr_ = img_.convert("YCbCr")
        y_, cb_, cr_ = ycbcr_.split()
        y_ = np.asarray(y_,dtype='float32')
        y_ = y_ / 255.0

        # 升维并将HWC转换为CHW
        img_s = self.transforms(y)
        img_l = self.transforms(y_)

        # img_s 为缩小3倍后的图片（1, 100, 100） 
        # img_l 是原始图片（1, 300, 300）
        return img_s , img_l


    def __len__(self):
        """
        实现__len__方法，返回数据集总数目
        """
        return len(self.temp_images)

    def _sort_images(self, img_dir):
        """
        对文件夹内的图像进行按照文件名排序
        """
        files = []

        for item in os.listdir(img_dir):
            if item.split('.')[-1].lower() in ["jpg",'jpeg','png']:
                files.append(os.path.join(img_dir, item))
        return sorted(files)

    def _parse_dataset(self):
        """
        处理数据集
        """
        self.temp_images = self._sort_images(self.image_path)
        random.Random(self.seed).shuffle(self.temp_images)

    def _load_img(self, path):
        """
        从磁盘读取图片
        """
        with open(path, 'rb') as f:
            img = Image.open(io.BytesIO(f.read()))
            img = img.convert('RGB')
            return img

3.3.2 定义网络结构:

通过2.2节网络结构图，可以很容易的看出来：图片经过三层CNN采样后得到R的平方个特征通道，再通过Sub-Pixel层还原成channel个通道（这里是1通道）图像。

from paddle.nn import Layer, Conv2D
class Sub_Pixel_CNN(Layer):

   def __init__(self, upscale_factor=3, channels=1):
       super(Sub_Pixel_CNN, self).__init__()
       self.conv1 = Conv2D(channels,64,5,stride=1, padding=2)

       self.conv2 = Conv2D(64,32,3,stride=1, padding=1)
       self.conv3 = Conv2D(32,channels * (upscale_factor ** 2),3,stride=1, padding=1)

   def forward(self, x):
       x = self.conv1(x)
       x = self.conv2(x)
       x = self.conv3(x)
       x = paddle.fluid.layers.pixel_shuffle(x,3)
       return x

模型封装及模型可视化

3.3.3 模型封装

model = paddle.Model(Sub_Pixel_CNN())

3.3.4 模型可视化

model.summary((1, 1, 100, 100))

3.3.5 模型训练准备

损失函数选用:
这里选择了常用的的均方差损失函数：MSELoss，其表达式如下图所示：

有兴趣的小伙伴可以尝试一下使用PSMR作为损失函数，可能效果会更好。

model.prepare(
  paddle.optimizer.Adam(
    learning_rate=0.001,
    parameters=model.parameters()
    ),
  paddle.nn.MSELoss()
  )

3.3.6 模型训练:

# 启动模型训练，指定训练数据集、训练轮数、批次大小、日志格式
model.fit(train_dataset,
          epochs=1,
          batch_size=16,
          verbose=1)

3.3.7 结果可视化

从我们的预测数据集中抽1个张图片来看看预测的效果，其中lowers是缩放的图片，prediction是lowers经过卷积超分辨率之后的结果。

psmr_low: 30.381882136539197 psmr_pre: 29.4920122281961

4 .思考与总结

这篇论文发表之前，CNN网络在超分辨率重建上就取得了非常好的效果，但是网络结构复杂，不适合在移动端部署。这篇论文使用了一个结构十分简单的网络结构，可以在视频上实现实时超分辨率，给轻量级的超分辨率算法提供了一个很好的思路。因为时间关系，本项目还没有实现对视频的实时处理。别急，下一个项目一定会有的！

最后，感谢飞桨和AI Studio深度学习开源平台提供的支持。本项目全程使用AI Studio完成开发，简直是穷学生党的福音啊，V100是真的香！

下载安装命令

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

>> 访问 PaddlePaddle 官网，了解更多相关内容。

邮箱：（欢迎骚扰，一起探讨学习）
juntao.lu@connect.qut.edu.au
近期目标：拿到墨大AI方向研究生的offer（好像有点难度）
爱好倒腾，喜欢航模、航拍，梦想有朝一日实现财富自由，带着我的小飞机自驾拍遍全国。疫情原因暂时还在国内，欢迎南京的小伙伴找我面基。

如在使用过程中有问题，可加入飞桨官方QQ群进行交流：1108045677。

如果您想详细了解更多飞桨的相关内容，请参阅以下文档。

飞桨 PaddlePaddle项目地址:

GitHub:
https://github.com/PaddlePaddle/PaddlePaddle
Gitee:
https://Gitee.com/PaddlePaddle/PaddlePaddle

飞桨官网地址:

https://www.paddlepaddle.org.cn/

本文分享 CSDN - Ralph Lu。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/u/4067628/blog/4766302

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

四天搞懂生成对抗网络（二）——风格迁移的“精神始祖”Conditional GAN

从“自由挥洒”到“有的放矢” 1、给GAN加个“按钮” 上一篇《四天搞懂生成对抗网络（一）——通俗理解经典GAN》中，我们实现了一个生成手写数字的GAN 网络。并且，为了完成我的执念——“集齐常用CV数据增广的tricks”（后来发现这个想法太navie了，只要大神们不断造trick发论文，哪有集齐的一天。集不齐也集～～），而尝试使用生成的手写数字样本来提升分类网络的精度，结果自然是缘木求鱼。因为GAN只是拟合原数据集的像素概率分布，生成的样本并没有提供新的信息以优化模型的分类边界。我理解，样本插值还能优化一下分类边界，原始GAN充其量只能添加一点噪声，或许能增强一点模型泛化能力吧（真做数据增强还得InforGAN、styleGAN这样的才好，能通过潜空间插值对图像做高级语义的增强，这是后话。）。原始GAN用起来也不方便，为了分别生成0～9的数字，得将原数据集按标签分为10组，每组用一个模型训练，一共需要10个模型。训练时由于每组的数据量少到原来的十分之一，也会发生因样本太少导致模型无法拟合的现象。所以，意欲降伏GAN的大神给原始GAN装了个钮，让GAN乖乖要啥给啥。这个带...

2020-11-20

979

PaddleNLP是基于飞桨（PaddlePaddle）开发的工业级中文NLP开源工具与预训练模型集，将自然语言处理领域的多种模型用一套共享骨架代码实现，可大大减少开发者在开发过程中的重复工作。PaddleNLP提供依托于百度百亿级大数据的预训练模型，适应全面丰富的 NLP任务，方便开发者灵活插拔尝试多种网络结构，并且让应用最快速达到工业级效果。下面小编就带你一一了解PaddleNLP支持的十大NLP任务和工具。下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 一、文本分类 1、文本情感分析情感是人类的一种高级智能行为，为了识别文本的情感倾向，需要深入的语义建模。另外，不同领域（如餐饮、体育）在情感的表达各不相同，因而需要有大规模覆盖各个领域的数据进行模型...

2019-06-19

627

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。