推理模型与测试时计算：让模型先想再答

过去几年，提升大模型能力的主要办法是：更多数据、更大参数、更多训练算力。推理模型带来了另一条轴：在回答问题时花更多算力，也就是测试时计算（test-time compute）。

核心思想

人做难题时不会脱口而出，会先打草稿、试错、检查。推理模型做的是同一件事：在给出最终答案前，先生成一段很长的思考过程（思维链），中途可以尝试多种思路、发现错误、回头修正。

这里最重要的发现是：思考得越久，正确率越高，而且这种提升在数学、代码这类可验证的任务上非常明显。这意味着模型能力不只取决于训练，也取决于推理时愿意花多少预算。

两类做法

1. 在推理端堆算力（不改模型）

• 多次采样 + 投票：同一个问题生成多个答案，取出现最多的那个（self-consistency）
• 多次采样 + 验证器打分：用一个奖励模型给每个候选答案打分，取最高分（best-of-N）
• 树搜索：把推理过程拆成步骤，在步骤层面搜索和剪枝

这类方法简单直接，但成本随采样次数线性增长。

2. 用强化学习训练模型自己会想

这是 OpenAI o1 和 DeepSeek-R1 这类模型走的路：

1. 给模型大量有标准答案的题目（数学题、带测试用例的编程题）
2. 让模型自由生成思考过程和答案
3. 答案对了给奖励，错了不给
4. 用强化学习更新模型

不需要人工标注思考过程，模型自己会“涌现”出反思、验证、换思路等行为。DeepSeek-R1 的论文公开了这套方法的细节，用的 GRPO 算法省掉了传统 PPO 里单独的价值网络，降低了训练成本。

结果奖励 vs 过程奖励

强化学习里，奖励给在哪里是一个关键选择：

方式	怎么给奖励	优点	缺点
结果奖励（ORM）	只看最终答案对不对	便宜，不易被钻空子	信号稀疏，对过程没有约束
过程奖励（PRM）	对每一步推理打分	信号密集，能纠正中间错误	标注贵，奖励模型本身可能被利用

OpenAI 2023 年的 Let’s Verify Step by Step 显示过程监督在数学题上优于结果监督；但 DeepSeek-R1 证明了仅靠结果奖励（加上可验证的规则奖励）也能训出很强的推理能力。两种路线目前都有人在推进。

应用侧要注意的

做大模型应用的人，这几点直接影响产品：

• 延迟和成本都会显著上升：思考 token 也要付费，且首字延迟变长
• 不是所有任务都需要：简单分类、抽取、改写用推理模型是浪费
• “过度思考”：简单问题也可能想很久，需要控制思考预算
• 提示词写法变了：对推理模型，少写“一步步思考”这类引导，多写清楚目标和约束

目前的判断

1. 测试时计算是和预训练规模并列的扩展维度，不是一时的技巧。
2. 可验证奖励是关键前提。 数学、代码先突破，是因为对错可以自动判断。开放式任务（写作、策略分析）怎么设计奖励，是下一个难点。
3. 应用层会出现“路由”需求：根据问题难度自动选普通模型还是推理模型，以及给多少思考预算。

接下来要做的

• 用一个小模型 + GRPO 在小学数学题上复现“思考变长、正确率上升”的现象
• 测一组真实业务问题，对比普通模型和推理模型的效果、延迟、成本

参考

• Wei et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. 2022
• Wang et al. Self-Consistency Improves Chain of Thought Reasoning in Language Models. 2022
• Lightman et al. Let’s Verify Step by Step. 2023
• Snell et al. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters. 2024
• DeepSeek-AI. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. 2025