世界模型怎么评估：好看不等于对

上一篇说过，判断一个东西是不是世界模型，要看它能不能回答“换一个动作会怎样”。这一篇往下走一步：就算它能回答，怎么知道答得对不对？

为什么视频生成指标不够用

视频生成常用的指标，比如 FVD（Fréchet Video Distance），本质上衡量的是生成分布和真实分布在特征空间里有多接近。它能告诉你“整体看起来像真视频”，但回答不了：

• 球扔出去之后，轨迹符不符合重力？
• 物体被挡住再出现时，还是不是同一个物体？
• 同一个起点，向左走和向右走，结果是不是真的不同？

一个模型可以 FVD 很好看，同时在这三个问题上全错。

我拆出来的四个维度

1. 物理一致性

模型生成的内容是否遵守基本物理规律：重力、碰撞、遮挡、物体恒存。

评估思路：构造有确定答案的场景（自由落体、弹性碰撞、物体滚到挡板后面），比较生成结果和物理引擎的真值。也可以把生成视频交给人或另一个模型做“合理 / 不合理”的二分类判断。

2. 动作可控性

给定不同动作，输出是否发生了对应的、可区分的变化。

评估思路：同一个初始状态，分别输入不同的动作序列，检查：

• 不同动作的结果之间差异是否足够大（不是无视动作）
• 动作和结果之间是否一致（按“左”就真的往左）
• 能否从结果反推出动作（逆动力学一致性）

3. 长时稳定性

自回归地往前滚，误差会累积。很多模型前几秒惊艳，十几秒后场景开始“融化”。

评估思路：固定步长测量多个时间点的指标衰减曲线；看离开视野再回来的区域是否保持一致（空间记忆）。

4. 下游可用性

最终检验：用它训练或规划的智能体，在真实环境里表现如何。

评估思路：

• 在世界模型里训练策略，放回真实环境测成功率（sim-to-real 差距）
• 用世界模型生成的合成数据训练感知模型，看真实测试集上的提升
• 用世界模型做规划（模型预测控制），对比无模型的基线

这一项最贵，但也最诚实。

一张简化的评估清单

维度	核心问题	低成本做法	高成本做法
物理一致性	符合物理吗	构造确定性场景对比	与物理引擎大规模对齐
可控性	听动作的吗	同起点多动作对比	逆动力学模型反推
长时稳定性	稳得住吗	多时间点指标曲线	回访区域一致性测试
下游可用性	有用吗	合成数据增强实验	策略训练 + 真实部署

目前的判断

1. 评估是这个领域最被低估的部分。 演示视频容易挑，评估基准难造。谁先有被广泛接受的基准，谁就能定义“好的世界模型”。
2. 下游可用性会成为最终标准。 物理一致性和可控性只是中间指标，商业上最终只看它能不能省掉真实数据采集和真实试错的成本。

接下来要做的

• 写一个最小的物理一致性测试：2D 小球场景，对比生成轨迹与解析解
• 调研现有的世界模型 / 物理理解类评估基准，整理成表