自然语言处理中的自注意力机制（Self-Attention Mechanism）
近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理各个任务中，之前我对早期注意力机制进行过一些学习总结 [1]。 随着注意力机制的深入研究，各式各样的 Attention 被研究者们提出。在 2017年 6 月 Google 机器翻译团队在 arXiv 上放出的 Attention is All You Need [2] 论文受到了大家广泛关注，自注意力（self-attention）机制开始成为神经网络 Attention 的研究热点，在各个任务上也取得了不错的效果。 本人就这篇论文中的 Self-Attention 以及一些相关工作进行了学习总结，其中也参考借鉴了张俊林博士的博客深度学习中的注意力机制（2017版）[3]"和苏剑林的一文读懂「Attention is All You Need」| 附代码实现，和大家一起分享。 背景知识 Attention 机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是 2014 年 Google Mind 团队的这篇论文 Recurrent Models of Visual Att...
