LLM 是什么：一个没有身份、只有知识的梦境大脑

在日常与 LLM 交互的过程中，我们很容易把一个能对话、写代码、翻译和总结的 LLM 想成一个“知道很多事的人”。这个比喻有用，却也会遮住最重要的区别：它不是一个生活在现实里的主体。

更准确地说，LLM 是一个经过超大规模训练的神经网络。它拥有从训练材料中压缩出来的语言和知识模式，却没有持续的自我、亲身经历，也不会天然感知此时此刻的现实环境。

我喜欢把它称为：一个没有身份、只有知识的梦境大脑。

一个无我的梦境状态: 剥离了自我/本我, 除了知识一无所有。

这个比喻不是为了把模型神秘化，恰恰是为了看清它在哪里极其强大，又在哪里必须依靠外部/感知系统。

以下内容，与互动课程 大模型：生成与能力边界对应；课程中的演示可以帮助你把下面的概念放回实际运行过程里。

基础概念

• LLM（大语言模型） 是一个经过超大规模训练的神经网络，它拥有从训练材料中压缩出来的语言和知识模式，却没有持续的自我、亲身经历，也不会天然感知此时此刻的现实环境。
• Token（词元） 是 LLM 读取和生成文字时使用的基本单位。它不固定等于一个汉字或一个单词：可能是一个字、标点、英文词的一部分，或带空格的英文片段。模型并不是整句读写文字，而是在 Token 序列上理解输入，并逐个 Token 生成输出。
• Vector（向量） 是一组数值，用于表示 Token 的初始数值表示；它经过后续神经网络层后，会逐渐成为结合上下文的表示。

LLM 的本质 : 一台巨大的、会关联上下文的神经网络

神经网络由大量可调整的数值连接构成，通常称为参数或权重。训练时，模型看过大量语言、代码和其他形式的序列，不断尝试预测后续内容；预测与训练样本不一致时，训练算法会微调这些连接。经过许多轮训练，语言结构、常见知识关联和任务模式以统计形式被压缩进参数。

今天主流 LLM 的核心架构通常是 Transformer。2017 年的论文 《Attention Is All You Need》 提出了一种以注意力机制为核心、摒弃循环和卷积的序列模型架构，为后来大语言模型的发展奠定了关键基础。完整的 Transformer 不只有注意力机制；每一层通常还包含前馈网络、残差连接和归一化等组件。

这里的“注意力”可以先理解为：处理某个 Token 对应的表示向量时，模型会衡量上下文中其他 Token 的表示向量与它的相关性。例如在“我把书放在桌上，因为它太重”里，理解“它”指向什么，需要关联前面的词和句法、语义线索。

多头注意力（multi-head attention）让模型并行地从多个关系角度建立这种关联：一个注意力头可能更关注位置或语法，另一个可能更关注指代、主题或远距离依赖。它们并不是人类可直接命名的“语法头”“事实头”，但这种并行的关联能力使模型能够利用长上下文中的复杂关系。

这也解释了一个常见误解：模型不是把训练文本逐条存进一个可以原样检索的书库。训练资料留下的是参数中的模式；在一次对话中，模型处理的是你此刻提供的上下文，以及它通过参数学到的关联方式。

LLM 的运行机制 : 怎样生成一段回答？

把复杂实现先压缩成一个足够准确的式子：

P(next token | current context)

给定当前上下文，模型会为“下一个 Token 是什么”估计一个概率分布。系统依照解码规则选出一个 Token，把它追加到上下文，然后重复同样的步骤。很多次循环之后，我们就看到了回答、摘要、代码，或一个结构化调用请求。

当前上下文
→ 预测下一 Token 的候选概率
→ 选择一个 Token
→ 将它追加到上下文
→ 再次预测

推理时，训练完成的权重通常保持不变。对话中加入一份新制度、检索结果或工具返回值，会改变这一次回答的依据，却不会让模型永久“学会”该信息。Temperature 等采样参数会影响从候选中选择 Token 的随机性，也不会增加模型知识或保证事实正确。

逐 Token 生成不是无意义的随机接龙。模型能把上下文中的语法、语义、文体、代码结构和任务模式结合起来，因此能写出连贯且往往很有用的内容。但它在做的仍是：生成在当前上下文下最可能出现的后续内容，而不是天然检索一条唯一、最新、已验证的标准答案。

从文字到文字，模型的运行机制如下：

文字 → Token 序列 → Token ID 序列 → 嵌入向量序列 → 神经网络（注意力机制） → 下一个 Token 的概率分布 → 解码/采样 → 下一个 Token → 追加到上下文 → 重复直到生成完整回答

其中，“文字转换成 Token”叫作分词（tokenization）；每个 Token 会被映射为一个 Token ID。**embedding（嵌入）**则是模型把每个 Token ID 转成一组数值向量的过程。可以把嵌入理解为 Token 在高维空间中的数值表示：相似的用法会让它们在这个空间中呈现可被模型利用的关联。模型还需要结合位置编码或其他位置信息，才能区分不同的 Token 顺序；这些带有位置信息的向量按顺序组成序列，成为后续注意力机制和神经网络计算的输入。

LLM 的边界 : 为什么说它像“梦境大脑”？

梦里可以出现非常丰富的知识、语言和画面，却未必能准确对应醒着时此地此刻的现实。训练完成的 LLM 也类似：它有大量已学习的模式，却没有持续观察世界的感官、天然的任务身份，或必须为答案承担后果的位置。

互动课程的“一个训练完成的 LLM，是什么状态”演示，展示了这个“梦境大脑”比喻中的静态权重、对话上下文与现实信息缺口。

1. 冻结在训练完成时刻的知识快照

训练完成后，LLM 是一组固定的参数。一次推理会根据新上下文改变当次回答，却通常不会改变这些参数；因此，模型更像停留在训练完成那一刻的知识快照，而不是一个持续跟随世界更新的主体。

检索结果、工具返回值和对话历史可以让它依据新的材料作答，微调也可以产生一个新版本的模型；但前者是外部系统补充了当前上下文，后者是再次训练或调整参数。它们都不等于模型在一次对话中自然积累了生活经验。

2. 训练得来的模式，不是生活得来的经验

模型从训练材料中压缩语言、知识和行为模式；人则通过身体感知、社会关系、行动反馈和持续记忆形成经验。模型可以写得像有经历，也可以模仿某种表达风格，但这不等于它亲身经历过那些事情。

这也意味着，它不天然知道：

• 今天上海下午的实时天气；
• 你所在公司的最新报销制度；
• “这个还是不能用”里的“这个”究竟指什么；
• 是否有权限修改一条订单，或谁该为高风险决定负责。

3. 没有内生的持续身份与行为记忆

更准确地说，LLM 没有内建、持续的身份状态、个人目标和跨会话的自传式记忆机制。它能扮演角色，是因为角色设定、行为规范和历史记录被写入当前上下文；当这些上下文不再被提供时，模型不会自然保留这段记忆，也不会因为一次行为自动形成稳定习惯。

因此，如果没有当前证据、任务目标和行为约束，它依然会尽力续写一个看起来像答案的答案。这不是它在故意编造，而是概率生成在信息空白处的自然结果。流畅的表达证明了语言能力，不证明事实已经被验证。

模型像冻结在训练完成那一刻的梦境大脑：参数中保留了训练得来的知识与模式，却没有持续感知现实、积累经历或维持自我的机制。要让它可靠地参与现实任务，必须由外部系统为它提供现实环境。

LLM 的优势 : 它比人强在哪里？

把 LLM 放在正确的位置，它确实能突破人在语言工作上的一些硬限制：

跨领域多语言的知识储备

• 跨领域与多语言的知识广度: 同一个模型可在一次对话中切换学科、语言与表达风格，快速调取训练中形成的广泛语言模式。
• 跨界联想与模式重组： 模型能快速重组不同领域的语言与结构模式，适合发散、改写、类比、头脑风暴和多种方案探索。

摆脱生理约束

• 规模与速度： 配合合适的上下文窗口、检索与分块流程，模型可快速整理、摘要、分类和比较大批文本材料。
• 重复与并发： 在算力和系统允许时，同一模型可被部署为大量并发会话，为不同用户提供个性化语言交互。
• 不受疲劳影响的稳定处理： 不受生理约束，在同样的输入与系统条件下，模型可以持续处理重复、高频的文本任务，保持一致的交互形式。

这些能力并不取代人的判断。它们更适合把人从大规模、重复的事务处理里释放出来，让人把注意力留给目标设定、证据质量、例外判断与责任承担。

LLM 的短板 : 它天生缺什么？

同一套生成机制也带来不能靠“更会说话”消除的边界：

• 当前事实与来源： 没有可靠材料或实时数据，模型不能天然保证答案反映当前世界。
• 确定性计算与复杂条件： 多步精确计算、长推理链和复杂条件组合容易累积错误；语言上流畅的推导不等于数值或逻辑正确。
• 明确的任务边界： 面对含糊请求，模型可能补全对象、目标或范围；现实中正确动作常常是追问，而不是猜测。
• 权限与责任： 模型不能自行退款、写库或承担医疗、法律、财务和合规结论的后果。

所以，问题并不是“LLM 靠不靠谱”。真正的问题是：LLM 执行的任务是否有明确的边界，以及清晰的指示：

这个任务需要语言组织，还是需要当前事实、确定性计算、受控执行或责任判断？

LLM 的性能衡量标准

“模型更强”不是一个单一数字。我们可以先看模型规格，了解它的资源边界：

• 总参数量： 可以粗略理解为模型可用于压缩知识与模式的总容量。更大的参数量通常有助于容纳更丰富的知识关联和复杂模式，但实际知识覆盖与推理表现仍取决于训练数据、训练方法、后训练和推理设置，不能只由参数量判断。
• 每 Token 激活参数量： 对 MoE（混合专家）模型，同一时刻只会调用部分专家。这个数值更接近模型生成一个 Token 时需要多少计算，通常会影响推理速度和成本。
• 最大上下文窗口： 模型一次最多能读入和生成多少 Token。窗口更长，意味着它可以接触更长的材料；但“装得下”不等于一定能从全文准确找出和用好关键信息，仍需用真实的长材料任务验证。

行业 Benchmark 则像一套标准化考试：用同一批题目和规则，比较模型在知识推理、中文理解、数学、代码或长上下文等特定任务上的分数。MMLU、C-Eval、LiveCodeBench 和 SWE-bench 都是常见例子。

这些分数适合筛选候选模型，却不是万能排名。模型版本、提示词、是否允许工具，以及你的真实任务都会改变结果；最终仍要用自己的样本检查成功率、错误类型、延迟和成本。

让梦境大脑进入现实

LLM 最适合被看作一层强大的语言与模式能力，而不是事实引擎、自治执行者或责任主体。

要让这颗梦境中的大脑可靠地参与现实任务，应用需要给它补上它本来没有的东西：当前任务的背景、相关的历史与记忆、清晰的身份和目标、以及必须遵守的行为规范。需要新信息时，还要让它通过受控工具获取证据。

下一篇《如何扬长避短地利用 LLM：为模型补上现实环境》将拆开这些“现实环境”的组成部分：上下文、人设、规范与工具分别解决什么问题，又如何避免把它们误当成魔法提示词。