搜索[attention]结果-低调大师优秀个人博客

精选列表

搜索[attention]，共726篇文章

轻松理解 Transformers（2）：Attention部分

作者的核心观点是：Attention 机制是 Transformers 模型区分关键信息的关键所在。本文通过直观的类比和数学公式，让读者对 Attention 的计算过程有更深入的理解。

2023-10-30

PyTorch快餐教程2019 (2) - Multi-Head Attention

PyTorch快餐教程2019 (2) - Multi-Head Attention 上一节我们为了让一个完整的语言模型跑起来，可能给大家带来的学习负担过重了。

2019-10-22

【CVPR2018】如何增强Attention Model的推理能力

目前Attention Model已经被用到了机器视觉，自然语言理解，语音识别，机器翻译等等各行各业。各种各样的Attention Model也被各种Task使用。

2018-07-02

为什么 MiniMax M2 是一个 Full Attention 模型？

但在一个现实的工业系统中，Efficient Attention想要打败Full Attention还有些距离。

2025-11-06

RWKV-7 架构已发布预览版，真正超越 attention 范式

RWKV-7 超越了 attention / linear attention 范式，它的状态演化很灵活，可以解决在相同算力消耗下 attention 无法解决的问题。

2024-09-27

(zhuan) 自然语言处理中的Attention Model：是什么及为什么

自然语言处理中的Attention Model：是什么及为什么 2017-07-13张俊林待字闺中要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称

2017-07-19

自然语言处理中的自注意力机制（Self-Attention Mechanism）

of Visual Attention [4]，他们在 RNN 模型上使用了 Attention机制来进行图像分类。

2018-03-27

（转）注意力机制（Attention Mechanism）在自然语言处理中的应用

基于注意力（attention）机制的神经网络成为了最近神经网络研究的一个热点，本人最近也学习了一些基于attention机制的神经网络在自然语言处理（NLP）领域的论文，现在来对attention在NLP

2016-10-15

第三周序列模型和注意力机制（Sequence models & Attention mechanism）

之后你还会学习集束搜索（Beam search）和注意力模型（Attention Model），一直到最后的音频模型，比如语音。

2018-08-29

用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践

近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目，恰好硕士毕业时论文题目便是文本分类问题，趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。业务问题描述：淘宝商品的一个典型的例子见下图，图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏”。淘宝网后台是通过树形的多层的类目体系管理商品的，覆盖叶子类目数量达上万个，商品量也是10亿量级，我们是任务是根据商品标题预测其所在叶子类目，示例中商品归属的类目为“女装/女士精品>>蕾丝衫/雪纺衫”。很显然，这是一个非常典型的短文本多分类问题。接下来分别会介绍下文本分类传统和深度学习的做法，最后简单梳理下实践的经验。一、传统文本分类方法文本分类问题算是自然语言处理领域中一个非常经典的问题了，相关研究最

2017-10-23

大语言模型的基石：Transformer 入坑笔记（四） - 线性注意力(Linear Attention) 的基础

接上文《大语言模型的基石：Transformer 入坑笔记（三） - 注意力机制和 Transformer》。

2026-09-07

月之暗面 Kimi 团队提出 Attention Residuals (AttnRes) 架构，重新定义深度学习残差连接新范式

Attention Residuals（注意力残差，简称AttnRes）的全新深度网络架构组件。

2026-03-17

【论文解读】Deep attention SMOTE：面向燃气轮机不平衡异常检测的可学习插值过采样方法

针对这些实际工程挑战，论文《Deep attention SMOTE: Data augmentation with a learnable interpolation factor for imbalanced

2026-09-13

四万字全面详解 | 深度学习中的注意力机制（二）

[3] 以往的文章，主要将attention应用于不同场景中，而这篇文章提出了新的attention架构，引入了Global Attention和Local Attention的概念。

2020-11-12

详解NLP和时序预测的相似性【附赠AAAI21最佳论文INFORMER的详细解析】

1）Probsparse attention a. transformer最大的特点就是利用了attention进行时序信息传递。

2021-03-05

一次失败的实验 - 无限注意力，我们为什么坚持实验

总结: 随着我们增加内存压缩次数的次数，Infini-attention 的性能会变得越来越差。

2024-08-30

解读注意力机制原理，教你使用Python实现深度学习模型

本文分享自华为云社区《使用Python实现深度学习模型：注意力机制（Attention）》，作者：Echo_Wish。

2024-05-27

AIGC生成风格统一图片的方法介绍

Style Aligned方法的核心思想是在生成过程中设计共享self-attention机制，从而实现同一批图片彼此内容的交流。

2024-09-25

零基础解码Transformer与大模型核心原理

其中，Encoder包含一个Multi-Head-Attention模块，而Decoder则包含两个Multi-Head-Attention模块，不难发现，Transformer的核心其实就是这个多头注意力机制

2025-06-20

带你换个角度理解图卷积网络

整理如下：邻近节点的搜索方式: 每个节点考虑全部其它节点基于欧氏距离，只搜索近邻N个节点节点信息的提炼方式: MLP+Max Pooling直接进行特征融合基于attention，对周边节点进行加权平均

2021-07-15

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。