搜索[Transformer架构]结果-低调大师优秀个人博客

精选列表

搜索[Transformer架构]，共10005篇文章

面试大杂烩

常用于复制架构或记录日志。 Federated：访问远程 MySQL 服务器上的表，而不是本地存储数据。注意：该引擎默认禁用，且有诸多限制，不建议使用。

2025-09-18

当尺度感知调制遇上 Transformer，会碰撞出怎样的火花？

作者｜ AFzzz 1 文章介绍近年来，基于Transformer和CNN的视觉基础模型取得巨大成功。

2023-10-09

CVPR 2021 | 基于Transformer的端到端视频实例分割方法

基于以上的思考，我们选取了一个同时能够进行序列的建模和相似度学习的模型，即自然语言处理中的Transformer[5]模型。

2021-06-04

2500万参数字节级 Transformer：CPU 训练的结构与评估

用约 2500 万参数的教学模型，可以把编码、因果注意力、损失、反向传播和评估连成一条可检查的链路。本文从一组明确的配置出发，讨论参数放在哪里、字节输入增加什么代价，以及什么时候值得加入注意力变体、MoE 或强化学习。先建立小规模基线，再比较每次结构变化。

2026-10-18

大模型本质是词语接龙：Transformer的极简进化史

跟豆包聊天的时候会发现它是一个词一个词地往外蹦，这是因为大语言模型本质上在玩词语接龙。这跟手机打字时输入法猜你下一个词想打什么很像，比如打了个“今天”，输入法会蹦出“天气”“吃”“星期几”之类的候选。

2026-09-19

【论文解读】BMSFormer：基于轻量化Transformer的锂电池SOH估计

锂离子电池在各类储能与动力系统中得到了广泛应用，实时、准确地估计电池健康状态对于保障系统安全至关重要，但传统的深度学习模型往往计算量庞大，难以直接部署在计算与存储资源受限的电池管理系统中。针对这一问题，论文《BMSFormer: An efficient deep learning model for online state-of-health estimation of lithium-ion batteries under high-frequency early SOC data with strong correlated single health indicator》提出了一种兼顾全局特征提取与轻量化计算的健康状态估计方法。

2026-09-12

手写大模型：在NumPy的方寸之间，重建Transformer的灵魂

大模型时代，开发者被层层封装包围：HuggingFace的 AutoModel、PyTorch的 nn.Transformer、TensorFlow的 Keras……我们像熟练的API调酒师，却越来越像

2026-08-29

基于 Transformer 的股票价格预测与量化交易策略实现

Transformer 架构凭借多头自注意力机制，能够并行建模任意时间步间的依赖关系，在自然语言处理领域大放异彩，并迅速被引入金融时间序列预测。

2026-08-22

GGUF quantizer 独立指认 Transformer 三段式深度结构

我们刚刚完成了老旧 V100 上 bs=1 decode 的收官优化——Qwen3-8B TPOT 34.53 → 22.39 ms（1.54×），追回 llama.cpp gap 的 52-53%。整个过程里发现了一个当时觉得"是 Qwen 家族偶然"的现象：

2026-07-13

全球首个面向遥感任务设计的亿级视觉Transformer大模型

因此，在本文中，我们也研究了视觉Transformer（Vision Transformer）的骨干网络，它们在计算机视觉领域表现出了令人惊讶的性能。

2023-02-01

Transformer的潜在竞争对手QRNN论文解读，训练更快的RNN

为了克服这些问题，诸如CNN-LSTM，Transformer，QRNNs之类的架构蓬勃发展。

2020-10-12

如何结合TCN、通道注意力机制（ CAM）和Transformer网络来实现时间序列预测 TCN+transformer+通道注意力机制时间序列预测 TCN++

TCN+transformer+通道注意力机制时间序列预测TCN++DCA+transformer自己研究的创新点，超级新。可以发刊，高精度代码。需知：好的创新性模型可以事半功倍。

2026-07-18

大模型工程化：从 Transformer 推理到 QLoRA 微调与量化部署

大语言模型（LLM）的本质是自回归 Transformer：给定 token 序列，预测下一个 token 的概率分布。工程落地围绕三件事展开——推理、微调、部署。

2026-10-16

心电图时序信号AI分类：从心拍分割到LSTM与Transformer建模

心电图记录的是心肌电活动随时间变化的电位差，是一条典型的一维时序信号。它没有图像的二维空间结构，也没有文本的离散词表，全部信息都压缩在振幅、时间与形态三者的耦合关系里：P波对应心房除极，QRS波群对应心室除极，T波对应心室复极，三者的出现顺序、持续时长与相互间期共同构成节律判读的依据。传统读图依赖医生经验，长时程监测下动辄数万心拍，工作量大且容易漏掉间歇性发作的心律失常；固定阈值规则虽可自动化，却难以覆盖形态变异与个体差异。把分类交给时序模型，前提是先理解这条信号在工程上被如何拆解与重建。

2026-09-18

. | 双图表示增强Transformer模型的分子性质预测

近年来，Transformer模型凭借全局自注意力机制逐渐应用于分子学习，但如何充分编码原子、化学键、拓扑结构及立体几何信息，仍然是限制模型性能的重要因素。

2026-07-13

LLM 推理优化探微 (1) ：Transformer 解码器的推理过程详解

本系列博文所说的 LLM 推理是指使用仅包含解码器的 Transformer 模型生成词元（tokens），因为大多数挑战及其相关的补救方法都来自于该特定架构和使用场景。

2024-01-31

ICCV 2023 ｜当尺度感知调制遇上Transformer，会碰撞出怎样的火花？

作者｜ AFzzz 1 文章介绍近年来，基于Transformer和CNN的视觉基础模型取得巨大成功。

2023-10-09

使用 DeepSpeed 和 Hugging Face 🤗 Transformer 微调 FLAN-T5 XL/XXL

www.philschmid.de/fine-tune-flan-t5-deepspeed 原文作者: Philipp Schmid 译者: Matrix Yao (姚伟峰)，英特尔深度学习工程师，工作方向为 transformer-family

2023-03-21

手写大模型核心：从零实现一个最小生成式Transformer

但剥开工程化的外壳，其核心推理架构用几十行代码就能讲清楚。今天，我们就手写一个“微缩版”大模型——它具备GPT系列最根本的因果自注意力与前馈网络，能真正运行并生成文本。代码极简，但灵魂俱全。

2026-08-30

算法视角下的大模型：数据结构如何在Transformer中重塑智能

当人们谈论大模型时，焦点往往落在“万亿参数”和“海量数据”这两个显性指标上。但在这些数字背后，真正决定模型能力的是一整套精密的数据结构和算法设计——从Token的向量化表示，到注意力机制中的矩阵运算，再到推理阶段的KV缓存管理，数据结构的选择与优化贯穿了大模型的整个生命周期。

2026-07-16

亚马逊被曝重启智能手机项目：代号"Transformer"，押注AI原生体验

根据路透社的报道，亚马逊正秘密开发一款代号为"Transformer"的新款智能手机，这是继11年前Fire Phone惨败后，亚马逊再次进军手机市场的重大尝试。

2026-03-23

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。