日期：2026-08-17
主题：模型故意变笨：用世界知识换取推理能力的范式转变
原文：模型故意变笨：用世界知识换取推理能力的范式转变
来源：Lobsters
领域：🧠 AI/ML
如果只看数学和代码基准，你会得出一个结论：模型正在以惊人的速度变聪明。但把同样的问题换成一句普通的事实问答，画面却完全翻转。前沿模型在推理能力上节节攀升，事实知识却在刻意缩水——这并非缺陷，而是一场有意的设计选择。
先看推理这一侧。GLM-5.2 在 AIME 2026 上拿到 99.2% 的分数，而每个 token 只有大约 400 亿个激活参数；Qwen3.5 用 170 亿激活参数拿到 91.3%；DeepSeek V4-Flash 只跑 130 亿激活参数。作为参照，2023 年的 GPT-4 据传每个 token 要激活约 2800 亿参数，却几乎解不出一道 AIME 题。在小模型一端，Qwen3.5 9B 量化后能塞进 6GB 显存，在 Artificial Analysis 的智能指数上，得分几乎是 100 亿参数以下最强模型的近两倍。
但事实这一侧就完全不同了。在 SimpleQA——一个不允许使用工具、纯考事实回忆的基准上，当前领先的 Gemini 2.5 Pro 也只有 53%，也就是说最贵的事实回忆能力仍会答错一半问题。小模型更是几乎不设防：Artificial Analysis 测出 Qwen3.5 的 4B 和 9B 版本在知识基准上的幻觉率高达 80% 到 82%。问 9B 一个十九世纪小众数学家的出生年份，你会得到一个自信、合理、但错误答案。
参数数量不会白白下降。实验室正在用世界知识换取推理能力，而且这个交换是刻意为之的。
事实很占空间。关于知识容量的研究（"Physics of Language Models" 系列给出了最干净的测量）认为，每个参数大约能存储 2 比特的事实知识。想让模型记住每个小众维基人物的出生年份、每个荷兰市镇的人口、每个 npm 包里每个函数的参数顺序，你都要为这些权重买单。这正是前沿模型膨胀到万亿参数的重要原因。
而推理的压缩效率要高得多，因为它本质上是一小套反复套用的流程：把问题拆成几部分、跟踪中间状态、检查自己的答案、在一步失败时回溯。蒸馏和基于可验证任务的强化学习，能把这些流程惊人地转移到小模型上。Phi-4 只有 140 亿参数，大量用合成教科书式数据训练，数学很好、冷知识很差——这恰恰暴露了它的训练数据里装了什么。这种组合过去看起来像合成数据路线的局限，现在看起来就是设计目标。
在这场交换中幸存下来的知识有一个形状：这些模型是通才，几乎什么都懂一点，但几乎什么都不精通。问它 PostgreSQL 是什么、擅长什么、MVCC 大致怎么工作，它答得上来；但问它是哪个版本加入某个特定的 planner 特性，你又回到了编造事实。广度是值得留在权重里的那一层，因为它让模型理解问题在问什么、知道该去查什么、能判断一个来源是否可信。深度检索起来便宜、存起来昂贵，所以被砍掉的正是它。
一次前沿模型的训练要跑几个月、花掉数亿美元，而训练一结束，里面的知识就开始过时。库的 API 会变、价格会变、人会换工作，一个 2024 年的模型对 JavaScript 生态的认知，在它发布之前可能已经过时了一半。每个烤进权重的事实都有保质期，唯一的刷新方式是再来一次训练。
流程不会腐烂。1970 年的代数和现在一样，拆解问题、发现两个来源之间的矛盾也是一样。一个以流程为主、只轻载事实的模型，不会像知识密集的模型那样老去。它的训练截止日期变得不那么重要，因为世界的当前状态本来就不该住在权重里。这可能是整个思路最有力的论据：它把昂贵、缓慢的产物（训练好的模型）和每天变化的东西（什么是真的）解耦了。
如果模型不知道事情，就得有别的东西来知道，那就是 harness：对知识库的检索、工具调用、网页搜索、装满文档的文件系统。作者之前写过"Rust 是一个 harness"——为代理提供廉价、可机器校验的反馈，这次只是从另一面看到了同样的形状。模型贡献推理，它推理所依据的一切在运行时被提供。
你其实已经能观察到代理这样工作了。一个写代码的代理不需要背下你依赖的 API 表面，因为它在调用前会 grep node_modules 或读文档，它的答案基于你实际安装的版本，而不是训练数据里占主导的那个版本。曾经每次前向传播都固定成本的事实回忆，变成了按需查找。
把趋势往前推几年，我们会得到一个拥有前沿级推理能力的模型，跑在单块消费级 GPU 上。算力这一半几乎已经到位：DeepSeek V4-Flash 每个 token 只用约 130 亿激活参数来推理，完全在消费级 GPU 范围内。装不下的是它专家层里另外的 2710 亿参数，而专家层大部分就是事实存储。这正是这场交换让它们变得可选的部分。把知识剥离掉，总体规模向激活规模收缩，一个 200 到 400 亿参数、4-bit 量化的模型，就能装进那块从 2022 年就躺在游戏 PC 里的 24GB 显卡。
代价是它懂得不多。不带工具问它一个裸事实问题，正确的行为是承认不知道、然后去查。配上一个像样的 harness，这几乎就是今天我用前沿模型的全部场景：本地运行、没有按 token 计费、数据不出机器。
作者认为最有前景的是这对幻觉的疗效。当一个事实住在权重里，错误的事实既找不到也修不了。你不能 grep 权重，不能拿它和上个月做 diff，纠正一个错误意味着一次可能破坏其他一切的微调。模型以同样流畅的自信说出错误和正确的事实，而且没有任何产物可以对照检查。
当事实住在模型之外，错误答案就有了地址。模型引用一份文档，你可以打开它；如果文档错了，你编辑它，之后每次查询都得到修正，这比等下一次训练快了大约一年。检索不会让你归零，因为模型仍可能误读一个来源或把两个来源错误拼接，但一个带来源的论断是可检查的，而来自权重的论断不是。知识库里的错误事实是一个普通的数据 bug，是我们已经知道如何追踪、修复、写回归测试的那种。
有一个版本的未来里，模型卡片不再列出知识截止日期，因为留在权重里的东西以年而不是周为单位过时。模型只是在运行时被递上世界的当前状态，就像 CPU 被递上一个程序。
"模型故意变笨"并非能力倒退，而是对"模型该记住什么、该查什么"的一次重新划分：把易腐烂、占参数、不可修复的事实知识交给运行时检索，把高效、稳定、可迁移的推理流程留在权重里。它指向一个消费级 GPU 本地推理、幻觉大幅缓解、知识以数据 bug 方式可修复的未来——模型的边界从"记住多少"转向"会推理并懂得去查"。