一颗赛艇！上海交大搞出SRNN，比普通RNN也就快135倍

快了135倍。

近日，上海交大的研究人员提出了切片循环神经网络（Sliced recurrent neural networks，SRNN）的结构，在不改变循环单元的情况下，比RNN结构快135倍。

这种如同脚踩风火轮一般的操作，究竟是怎样实现的？

在论文《Sliced Recurrent Neural Networks》中，研究人员给出了具体介绍。我们先来看看“全是重点其他免谈”的论文重点——

“曲线救国”的SRNN

传统RNN结构中最流行的循环单元是LSTM和GRU，二者都能在隐藏层中通过门控机制（Gating Mechanism）存储近期信息，然后决定这些信息将以怎样的程度和输入结合。这种结构的缺点也很明显，RNN很难实现并行化处理。



△ 传统RNN结构，A代表循环单元 | 每一步都需要等待上一步的输出结果

因此，很多学者选在在NLP