一、故事的前半段:机器是怎么"读"文字的
在 Transformer 出现之前,让机器处理语言,主流办法是 RNN(循环神经网络) 以及它的改良版 LSTM。它们的思路很像人类的阅读方式:一个词一个词地读,边读边把"记忆"往后传。
这个办法很自然,但有两个绕不开的毛病:
- 慢。 必须读完第一个词才能读第二个,没法同时处理。GPU 擅长的是"同时干一万件事",却被迫排队干活,算力被白白浪费。
- 健忘。 句子一长,开头的信息经过层层传递就变得模糊。读到第 100 个词时,第 1 个词说了什么,模型已经记不太清了。
2014 年前后,研究者引入了"注意力机制"作为补丁:让模型在翻译时能回头看原文的某些关键词。效果不错,但注意力当时只是 RNN 的配角,骨架依然是那个"排队读"的结构。
整个领域其实卡在一个尴尬的位置:大家都知道要更大的数据、更大的模型,但架构本身拖了后腿,规模一上去,训练时间就不可接受。
二、他来了:Transformer 登场
2017 年,Google 的八位研究者发表了《Attention Is All You Need》。标题本身就是一句宣言:别再给 RNN 打补丁了,把配角扶正,只用注意力就够了。
它的核心做法并不复杂:
- 自注意力: 读每个词的时候,让它同时"看"句子里的所有词,并计算彼此的相关度。读到"它"的时候,模型能直接判断"它"指的是前文哪个对象,不用靠一层层传话。
- 整句并行处理: 不再排队,一整段话一次性送进去算。这恰好契合 GPU 的特长。
- 多头注意力: 同时用多组注意力,从语法、语义、指代等不同角度理解同一句话。
- 位置编码: 既然不按顺序读了,就额外给每个词标上位置,保留先后信息。
原论文做的是机器翻译,在英德、英法翻译上超过了当时最好的模型,而且训练成本更低。在当年看,这是一篇"翻译任务上很漂亮的工作"。没有多少人意识到,它其实改变了游戏规则。
三、他带来了什么
1. 规模定律真正跑通。
因为可以并行,模型第一次能高效地吃下海量数据和海量算力。随后人们发现一个惊人的规律:参数更多、数据更多、算力更多,效果就稳定地更好。这就是后来的 Scaling Law。没有 Transformer,这条路走不通。
2. 预训练大模型的诞生。
Transformer 很快分出两条支线:
- BERT 用的是编码器部分,擅长理解;
- GPT 用的是解码器部分,擅长生成。
先在海量文本上"通读"一遍,再针对具体任务调整,成了新的标准做法。今天的 ChatGPT、Claude、Gemini、DeepSeek、Qwen,都是这条路线上的后代。
3. 从文字扩展到一切。
注意力这套机制并不挑数据类型。后来图像(Vision Transformer)、语音、视频、蛋白质结构预测,甚至机器人,都开始使用它。同一套架构,统一了过去各自为政的多个领域。
4. 一个行业的分工。
有了通用的基础架构,才有了"少数公司训练基础模型、无数公司在上面做应用"的格局,也就是我们今天看到的 AI 产业结构。
四、我的几点见解
颠覆性的创新,往往不是加法,而是换一个前提。 RNN 的路线一直在修修补补,Transformer 干脆问了一句:"顺序读"真的是必要的吗?换掉这个前提,所有瓶颈一起松动。
它赢在"适配硬件",而不只是"更聪明"。 Transformer 的关键优势是并行,正好吃满 GPU。好的技术往往是想法与时代条件的相遇:没有 GPU,这个想法可能不会这么快爆发。
当年没人知道它这么重要。 论文发表时,它只是翻译任务上的一个好成绩。真正的价值是后来被一点点验证出来的。这提醒我们:判断一项技术的分量,要看它有没有成为别人的地基,而不只是当下的指标。
地基也有局限。 注意力的计算量随文本长度快速增长,所以长上下文一直是难题;模型的"推理""记忆"也还在不断补强。未来可能出现新的架构,但它已经证明了一件事:把算力、数据、架构配对对了,能力会以出人意料的方式涌现。
结语:
一篇论文,八位作者,一个看似朴素的想法:别排队读了,一眼看全局。就是这个想法,把机器从"按字摸索"带进了"通盘理解"的时代。今天我们谈论的几乎所有 AI,都是从这篇论文出发的。
