一颗赛艇!上海交大搞出SRNN,比普通RNN也就快135倍
快了135倍。 近日,上海交大的研究人员提出了切片循环神经网络(Sliced recurrent neural networks,SRNN)的结构,在不改变循环单元的情况下,比RNN结构快135倍。 这种如同脚踩风火轮一般的操作,究竟是怎样实现的? 在论文《Sliced Recurrent Neural Networks》中,研究人员给出了具体介绍。我们先来看看“全是重点其他免谈”的论文重点—— “曲线救国”的SRNN 传统RNN结构中最流行的循环单元是LSTM和GRU,二者都能在隐藏层中通过门控机制(Gating Mechanism)存储近期信息,然后决定这些信息将以怎样的程度和输入结合。这种结构的缺点也很明显,RNN很难实现并行化处理。 △ 传统RNN结构,A代表循环单元 | 每一步都需要等待上一步的输出结果 因此,很多学者选在在NLP


