学界 | 超少量数据训练神经网络:IEEE论文提出径向变换实现图像增强
近日,一篇题为《Training Neural Networks with Very Little Data-A Draft》IEEE 论文提出了一种使用少量数据训练神经网络的新方法,即通过极坐标空间中的径向变换(radial transform) 实现图像增强。它并未改变数据的信息内容,而是改进了数据的多样性,并最终提升了神经网络的泛化表现。
论文地址:https://arxiv.org/pdf/1708.04347.pdf
摘要:深度神经网络是由许多节点层组成的复杂架构,结果导致大量需要在训练中评估的参数,包括权重、偏差等。相比于简单的架构,更大、更复杂的神经网络需要更多的训练数据满足适当的收敛。然而,可用于训练网络的数据要么有限、要么不均衡。我们提出在极坐标空间中的径向变换(radial transform) 进行图像增强,从而帮助数据较少的神经网络进行训练。每像素的坐标变换提供了原始图像与增强后的数据在极坐标系统中的表征,且又能增加表征较弱的图像类别的多样性。使用我们提出的方法,在 MNIST 上,以及使用 AlxNet、GoogLeNet 神经网络模型的一系列多模型医疗图像上的试验表现出了极高的分类准确率。
图 1:径向变换采样。a)使用径向变换从笛卡尔坐标系统(左)中把样本映射到极坐标系统(右)。b)极坐标系统中的径向变换。c)使用径向变换筛选 256 × 256 图像(2D 平面)中的离散样本。任意选定的极点在像素(170,50)处。d)把 c)中筛选的样本从极坐标系统映射到笛卡尔坐标系统。红色样本表明了样本从 c)到 d)的映射方向。
图 2 :来自 MNIST 数据集的样本和使用极坐标系中的径向变换 RT(·)的相应表征。
图 3:多模态医疗数据集的样本,以及在极坐标系统中使用径向变换的相应表征。
表 4:使用 MNIST 和医疗多模态数据集中的原始和径向变换图像训练的 AlexNet 和 GoogLeNet 模型的收敛行为。术语「RT」是指径向变换图像,术语「Original」是指用很少的原始图像训练的模型。x 轴表示训练迭代,左 y 轴表示训练时的模型损失,右 y 轴表示使用验证数据集训练时的模型准确度。
表 1:通过原始和径向变换的多模态医疗图像训练的 AlexNet 和 GoogLeNet 的准确度(「Acc.」in %)和置信度(「Conf.」in %)值。「Abd」是指腹部 MRI,「Std」是标准偏差。黑体部分是最佳结果。
表 2 :通过原始和径向变换的 MNIST 图像训练的 AlexNet 和 GoogLeNet 的准确度(「Acc.」in %)和置信度(「Conf.」in %)值。「Std」是标准偏差。黑体部分是最佳结果。
结论
成功地训练深度神经网络需要大量均衡的数据。在实践中,大部分数据集都是不均衡的,或者特定类别的数据集可用的数据有限。在此论文中,我们提出了极坐标系统中的径向变换来增加数据集中的样本量,从而帮助对神经网络的训练。提出的这种数据增强方法并未改变数据的信息内容,而是改进了数据的多样性。我们的结果显示这种方法增加了神经网络的泛化表现,也就是机器学习模型预测未知数据的输出值的准确率。在非常少的数据上训练当前最佳的 AlexNet 和 GooLeNet 神经网络模型,表明该方法在整个学习流程中训练损失和验证准确率都有极大的波动。
原文发布时间为:2017-09-13
本文作者:李亚洲、黄小天
本文来自云栖社区合作伙伴极市网,了解相关信息可以关注极市网。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
5G和生态构建能否支撑MEC快速发展?
MEC(移动边缘计算)诞生于4G时代,由于它可以提供高速率、低时延的网络支持,并且能够满足无人机操控、F1赛车直播、智慧商城导航等创新业务的开展,得到了运营商的高度关注。 经过通信产业各方多年的努力,MEC在小基站设备、平台、商业模式等方面取得了不错的进展。但因为盈利模式不清晰、行业客户积极性不高以及运营商对现网部署可靠性方面的担忧,MEC未能得到规模发展。 近日,中国移动相关专家告诉媒体记者,MEC已成为5G应用场景之一,将借助5G“东风”以及生态构建而实现快速发展。 MEC价值日益凸显 MEC作为4.5G /5G网络体系架构演进的关键技术,可满足系统对吞吐量、时延、网络可伸缩性和智能化等多个方面的要求。依托MEC,运营商可将传统的外部应用拉入移动网络内部,使得内容和服务更贴近用户,并且提高移动网络速率、降低时延以及提升连接的可靠性,从而改善用户体验和开发网络边缘的价值。 在中国联通网络技术研究院专家李福昌看来,MEC使传统无线接入网具备了业务本地化和近距离部署的条件,可以将传统的无线基站升级为智能化基站。面向业务层面(物联网、视频、医疗、零售等),移动边缘计算可向行业提供定制化、差...
- 下一篇
堡垒跳板机实现——架构实现
总述 这是关于堡垒机实现的第二篇文章,主要阐述三层架构分别如何实现,包括第一层&第二层的设计与实现,即用户登录堡垒机的入口 & 授权验证, 第三层,如何通过ldap来统一管理服务器账号权限。 关于堡垒机三层架构可以参见前一篇blog:堡垒跳板机实现——整体架构 登录入口 先说第一层,这层的主要功能为检测用户是否有使用堡垒机的权限。这个很好理解,总不能来个匿名用户就可以让他随意使用堡垒机,虽说在二层授权验证这里可以有效的抵挡,但是,既然可以在第一层有效的对无效用户做快捷的拦截,为什么要放后呢? 验证的方式可以有很多种,比如,如果用linux用作第一层架构中的服务器,那么可以天然的使用linux的user auth作为检验机制,单纯为有使用权限的用户在服务器上adduser,单独创建一个唯一的32位的密码。 服务器定制 我们在这层的做法是 将用户验证与我们内部的动态Token服务相结合(类似google authenticator),同时还要提供友好的登录shell界面,这样的话单纯的使用user auth就不太能够达到我们的目的,这里,我们对一层服务器做了ssh登录all...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS6,7,8上安装Nginx,支持https2.0的开启