一文了解Transformer全貌（图解Transformer）
Sep 26, 2025 · 网上有关Transformer原理的介绍很多，在本文中我们将尽量模型简化，让普通读者也能轻松理解。 1. Transformer整体结构 在机器翻译中，Transformer可以将一种语言翻译成 …
如何最简单、通俗地理解Transformer？ - 知乎
Transformer最开始应用于NLP领域的机器翻译任务，但是它的通用性很好，除了NLP领域的其他任务，经过变体，还可以用于视觉领域，如ViT（Vision Transformer）。 这些特点 …
如何从浅入深理解 Transformer？ - 知乎
Transformer升级之路：12、无限外推的ReRoPE？ Transformer升级之路：13、逆用Leaky ReRoPE Transformer升级之路：14、当HWFA遇见ReRoPE 预训练一下，Transformer的长序 …
Transformer两大变种：GPT和BERT的差别（易懂版）-2更
Jul 16, 2025 · Transformer是GPT和BERT的前身。谷歌和OpenAI在自然语言处理技术上的优化，都是基于这个模型。 更多关于的Transformer可以看文章： ChatGPT与Transformer（无公 …
挑战 Transformer：全新架构 Mamba 详解
Sep 23, 2025 · 而就在最近，一名为 Mamba 的架构似乎打破了这一局面。 与类似规模的 Transformer 相比， Mamba 具有 5 倍的吞吐量， 而且 Mamba-3B 的效果与两倍于其规模的 …
MoE和transformer有什么区别和联系？ - 知乎
01. Transformer：像“万能翻译官”的神经网络 Transformer 是当今AI大模型（如ChatGPT）的核心架构，最初用于机器翻译，核心是自注意力机制（Self-Attention），能同时分析句子中所有词 …
如何理解 Swin Transformer 和 Vision Transformer不同 ... - 知乎
Swin Transformer 的总体结构 Swin Transformer 总体结构 从上图我们可以观察到在输入端有一个 Patch Partition 的操作，也就是 Vision Transformer 常规的切图。 然后是经过一个线性映射进 …
Transformer模型怎么用于regression的问题？ - 知乎
回归问题概述 Transformer模型基础 回归问题中的Transformer架构调整 应用案例 优化与技巧 挑战与改进 1. 回归问题概述 回归问题是监督学习中的一种任务，目标是预测一个连续值。这类问 …
你对下一代Transformer架构的预测是什么？ - 知乎
2. 引入随机化（Randomized Transformer） Transformer巨大的规模使得不管训练还是推理都极具挑战。 然而，很少有人知道的是，引入随机化矩阵算法可以减少Transformer需要的FLOPs。 …
有没有比较详细通俗易懂的 Transformer 教程？ - 知乎
Transformer目前没有官方中文译名，暂时就叫Transformer吧。 在该论文中，作者主要将Transformer用于机器翻译 [2] 任务，后来研究者们发现Transformer在自然语言处理的很多任 …