论文笔记系列-Efficient Neural Architecture Search via Parameter Sharing
Summary 本文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。在Penn Treebank数据集上，ENAS实现了55.8的测试困惑度；在CIFAR-10数据集上，其测试误差达到了2.89%，与NASNet不相上下（2.65%的测试误差） Research Objective 作者的研究目标 设计一种快速有效且耗费资源低的用于自动化网络模型设计的方法。主要贡献是基于NAS方法提升计算效率，使得各个子网络模型共享权重，从而避免低效率的从头训练。 Problem Statement 问题陈述，要解决什么问题？ 本文提出的方法是对NAS的改进。NAS存在的问题是它的计算瓶颈，因为NAS是每次将一个子网络训练到收敛，之后得到相应的reward，再将这个reward反馈给RNN controller。但是在下一轮训练子网络时，是从头开始训练，而上一轮的子网络的训练结果并没有利用起来。 另外NAS虽然在每个节点上的oper...
