ChatGPT、通义、Claude 这类大语言模型,看起来无所不知。但它们的核心动作只有一个:根据已经出现的文字,预测下一个词。其余的一切,都是把这件事做到极致的结果。
文字→Token→向量→Transformer × N→概率分布→下一个词
01 / TOKEN先把文字切成积木
模型并不直接读汉字或单词。输入会先被切成更小的片段,叫 token。常见的词是一个 token,生僻的词会被拆成几块。每个 token 对应词表里的一个编号,词表通常有几万到十几万项。
02 / EMBEDDING把编号变成“意义的坐标”
编号本身没有含义,所以每个 token 会被映射成一长串数字,也就是向量,常见长度为几千维。训练之后,意思相近的词在这个空间里彼此靠近:“猫”和“狗”离得近,“猫”和“发动机”离得远。语义就这样变成了可以计算的几何关系。
03 / ATTENTION注意力:每个词都在“看”上下文
Transformer 的关键是自注意力机制。读到“它”这个字时,模型会给前文每个词打一个相关度分数,再按分数把信息汇总过来。
小猫跳上桌子,因为它饿了。
“它”最关注的是“小猫”,而不是“桌子”。
几十到上百层这样的结构叠在一起,浅层学到语法和搭配,深层逐渐学到事实、逻辑和风格。
04 / PREDICTION输出的是一份概率表
最后一层会给词表里每个 token 一个概率。以“今天天气真”为例:
好 62%
不 14%
冷 9%
… 其余 15%
不 14%
冷 9%
… 其余 15%
模型按概率抽出一个词,接到句子后面,再把整句重新输入,预测下一个。如此循环,一段话就“长”了出来。调高 temperature 会让低概率的词更容易被选中,回答更有创意也更不稳定。
05 / TRAINING能力从哪里来
- 预训练:在海量文本上反复做“遮住下一个词、让模型猜”的练习,猜错就微调参数。这一步让模型学会语言和世界知识,耗资最大。
- 指令微调:用人工写好的“问题—理想回答”示例,教它按人的方式回答,而不是只会续写。
- 对齐:让人(或另一个模型)给多个回答打分,再让模型倾向于高分的回答,使其更有用、更安全。
06 / LIMITS理解它的边界
因为本质是“生成最可能的下文”,模型在不确定时也会给出流畅但错误的内容,这就是“幻觉”。它的知识停留在训练截止时,需要联网检索或外部资料来补充。把它当作一位博学但偶尔自信过头的同事,会更接近真实的使用体验。
一句话总结:大模型是一台用万亿次猜词练出来的、懂得上下文的概率机器。