「老题接近满分，新题接近零分」：改一道题就能测出模型在背什么，大模型的公开榜单到底该怎么读

10 月 19 日，MiniMax M3.1 Flash 发布。这是一款主打智能体任务与编码能力的 Flash 档模型，官方称相较前代在多步骤智能体任务上的成本下降约 70%。Artificial Analysis 在发布当日给出综合智能指数 42 分，比 6 月发布的 M3 高出 13 分，仅比 DeepSeek V4.1 Flash-1017 低 3 分。榜单成绩相当漂亮。

但争议几乎与发布同时出现。国内开发者社区里流传的一条测试反馈只有一句话：老题接近满分，新题接近零分。发出这条反馈的是独立评测人「猫老板」——他在国内开发者圈维护一份名为「致知」的私有榜单，这份榜单的题目库按月迭代、刻意规避网络公开原题，题型偏向真实落地场景，比如从服务器日志里排查线索、在带约束条件的地图上寻路、在没有说明的对局里自行归纳游戏规则。

「致知」的评测规则本身就排除了蒙对的可能：每道题重复测试三次取最优结果，不但要求答案正确，推导过程也必须合规，单纯猜对答案不计分。这套设计在专业评测里属于相当严格的一档。

因此当这样一份榜单给出「老题接近满分、新题接近零分」的结论时，它引发的不是「这个模型不行」的争论，而是一个更尖锐也更难回答的问题：这些分数，究竟来自模型的能力，还是来自模型的记忆？这场争论在接下来的一周里，从社区扩散到财经与科技媒体，成为这个月最值得企业技术管理者认真读一遍的 AI 事件。

猫老板提出的核心证据有两组，对应两种不同的异常。第一组是分数割裂：在这份持续滚动的题库里，留存的旧题得分接近满分，而同步纳入的新题得分近乎归零。旧题和新题的难度、题型、判分标准都是同一套，唯一的差别是「以前考过没有」。

第二组更微妙，也更值得琢磨：词元消耗模式反常。「致知」榜单上 M3.1 Flash 平均每题要消耗四万多词元，但其中一部分被归为难题的题，模型只用大约一万词元就给出了正确答案。

正常的推理逻辑是：题目越难，推理链条越长，消耗的输出词元越多。但观察到的现象恰恰相反——难题用了约四分之一的平均用量就答对，而新题却大面积翻车。这两件事放在一起，就指向一个让人不太舒服的推论：模型可能不是在解题，而是在识别出这道题曾经见过。

在同一次「致知」榜单的公开表格里，横向对比是这样的：M3.1 Flash 得分 61.50、单价约 11.76 元；DeepSeek V4.1 Flash（最高档）得分 62.11、单价约 17.17 元；Grok 4.7（xhigh）得分 63.79、单价约 75.19 元；Claude Fable 5.1（xhigh）得分 64.65、单价约 364.67 元。榜单本身排出来的顺序是合理的，M3.1 Flash 位于中段偏前——它的问题不在这一张表，而在下一张表。

要把质疑从「感觉」变成「证据」，需要一个不依赖主观判断的验证动作。另一位测评者 Binkg 给出了一个非常干净的实验设计。

他从 Artificial Analysis 公开的评测样题里选了一道生产管理题：题目问在生产管理的产能规划体系中，哪一种长期规划方法会预测新工厂的数量、位置和规模等资源需求，答案是资源需求计划（RRP）。Binkg 做了两处改动——把「长期」换成「中期」，并把「新工厂的数量、位置、规模」换成「完成主生产计划所需要的人力、设备和产能」。改完之后，正确答案应当是粗能力计划（RCCP）。

结果很清晰：DeepSeek V4.1 Flash-1017 和 Gemini 4 Argon 都跟着新题换成了 RCCP，只有 M3.1 Flash 仍然回答原来的 RRP。

媒体随后做了复现，结果与最初转述的版本略有出入，这一点反而更值得记录。英文题面下，豆包快速模式与 DeepSeek V4.1 Flash-1017 都改答了新答案，MiniMax 仍答 RRP；而当题目被翻译成中文、另开一个全新对话再问一次时，豆包、DeepSeek 与 MiniMax 三家全部答对。也就是说，「换个语言就答对」这件事本身，说明答案的来源不是现场推理，而是与语言、语料先验绑定的记忆。

这两组观察合在一起，给出了一个可以立刻复用的自查动作：拿一道公开评测题，改掉其中决定答案的那个词或那个条件，再问一遍。如果模型在条件改变后仍给出原答案，那么它在这道题上的得分，就不应该计入你的选型依据。这个动作几乎零成本，只需要几分钟，却能把「怀疑」变成「有结论」。

在同一份第三方评测里，M3.1 Flash 的知识类测试呈现出一种很反直觉的组合：AA-Omniscience 正确率 56.2%，幻觉率 92.8%。

要先理解这个测度的规则。AA-Omniscience 考查事实知识，同时也考查模型在知识空白处如何作答。它的计分方式很特别：答对加分，答错扣分，部分正确或不作答既不加分也不扣分；测试开始前还会明确提醒模型，只在有把握时回答，放弃作答比答错更好。这套规则专门用来区分「知道」与「硬猜」。

按四舍五入后的数字粗略换算，每 100 道题里，M3.1 Flash 大约答对 56 道、答错 41 道，剩下约 3 道为部分正确或弃答。而 92.8% 的幻觉率指的是后 44 道题中的错误占比。上一代 M3 在这项测试里经常选择不答，正确率只有 16.7%，幻觉率仅 18.4%——换算下来，每 100 道题约答对 17 道、答错 15 道，其余约 68 道是部分正确或未作答。

横向对比更刺眼：M3.1 Flash 与 Gemini 3.8 Flash 的正确率只差 1.6 个百分点，幻觉率却相差 37.6 个百分点。参照同期发布的 Kimi K3.1 Pro，其正确率从上一代的 47.6% 升到 51.0%，只增加 3.4 个百分点。这组数字说明的是：M3.1 Flash 的分数跳涨里，有相当一部分来自在不确定时选择硬答并蒙对——在答错要扣分的规则下，这仍然是净收益，但它衡量的更多是「敢答」，而不是「知道」。

如果只看到前面的证据，很容易得出「这个模型只会背题」的结论。但事实并非如此。同一时期，由 Plotly 与 Mila 研究人员联合搭建的数据分析测评，给出了几乎相反的结果。

这套测评的形态很特别：给模型接入一个包含 2000 万行记录的模拟风电数据仓库，要求它自主查询、运算并回答业务问题。题目里埋了陷阱，会提出数据集根本无法支撑的问题，比如让只有风电数据的模型去计算太阳能发电量，以此检验模型能否发现数据缺失、识别错误前提，并克制地不做幻觉输出。测评者还在数据里埋了五处需要主动发现的规律。

结果是：全部 43 道题目答对 41 道，与 Claude Opus 5.5、Gemini 4 Argon 等模型同分。此前它的匿名早期版本「太空兔」通过了 38 道，与 GLM 5.3 Flash、Qwen 3.8 27B 等模型持平，是这套测试里表现最好的开放权重模型之一。而在埋规律的部分，太空兔只找到两处，M3.1 Flash 全部找到。

唯一明显变差的地方是速度：每题耗时中位数从太空兔的 36 秒增加到 3 分钟。这三个事实合在一起，指向一个远比「会背题 / 不会背题」更准确的描述：它在需要自主查证、发现隐藏规律的开放性任务上确实更强，面对依赖固定知识与固定模板的封闭性任务则异常熟练——而后者，恰恰是最容易被公开题库覆盖的部分。

这也解释了为什么单看任何一个榜单都会得出偏差结论。公开知识类题库测的是「记住了多少」，真实数据类测评测的是「能不能自己找出答案」，而企业的业务场景往往在两者之间——既需要知识，也需要现场查证。看懂这一点，就知道该看哪个分数、该忽略哪个分数。

这轮争论里，有一个推测最尖锐，也最难证伪——它不涉及模型能力，而涉及评测通道本身。

这条推测的逻辑链是这样的：上一代模型 M3 在 6 月发布后，Artificial Analysis 通过厂商运营的在线接口对模型进行评测。而如果评测请求经过的是厂商自己的服务通道，那么厂商在技术上就存在接触这些题目的机会——识别出评测请求、识别出题目内容、再用于后续训练，是一条在技术上成立的路径。持这种看法的评测者认为，这可以解释为什么某款模型在公开题库上的分数会出现异常的断层式跳涨。

必须说清楚的是，这条推测目前没有请求日志或训练记录作为支撑，它仍然停留在推测阶段。公开权重没有同时公开全部训练材料，因此那两道改题实验留下的疑点，到今天也没有被彻底解释。

但无论最终结论如何，这条逻辑本身值得所有做选型的人记住：任何第三方评测，只要走厂商的在线接口，就天然存在信息不对称的可能。这不是对某一家厂商的指控，而是一个方法论层面的提醒——它解释了为什么「自建评测集」不是一个可选项，而是一道必答题。

这次争论里还有一个耐人寻味的角色：太空兔（Space Bunny Alpha）。9 月，它以匿名模型的身份登陆 OpenRouter 开放免费调用，连续十天位居平台调用量第一，累计处理 56.7 万亿词元，创下该平台匿名模型的最高纪录。10 月 19 日，MiniMax 官号用一句「Welcome back. Space Bunny.」揭晓了答案——太空兔正是 M3.1 Flash 的早期版本。

这个匿名公测期本身是产品策略上的聪明一手：它既换来了海量的真实调用量与成本结构数据，又把正式版的能力上限维持在未知状态。官方披露，匿名公测期间处理超过 200 万亿词元；正式版上线后 72 小时处理词元超过 100 万亿，官方称在编码与多步骤智能体任务上继续优化，同时成本下降 70%。

不过，匿名机制也带来一个副产品：真实用户第一次看到的是一个没有品牌背书的价格标签。免费调用带来的巨大流量，会让平台榜单、路由策略和社区口碑都建立在匿名样本之上。这对使用者是好事——能以最低成本试错；但对企业采购方来说，这段经历提醒了一件事：试用期的表现数据与正式版的表现数据不可直接互换，中间可能隔着一次针对已知评测集做过针对性优化的版本迭代。

至于开放权重这一步，意义更为直接。10 月 23 日，MiniMax 按此前公布的计划开放了 M3.1 Flash 的模型权重，抛出了一个可供所有人核验的后续方案：具备部署条件的研究者可以在自己的设备上重新测试，题目无需经过厂商的在线接口。这为核验增加了条件，也把举证责任转移到了更平衡的位置。

这一整轮争论最值得沉淀下来的，不是对某款模型的判断，而是读榜单的方法。以下三条原则都来自这次争论本身，且都不需要额外成本。

第一条：把公开榜单当作第一层筛选，不要当作最终结论。榜单告诉你的是「在通用任务上的相对位置」，它能帮你砍掉明显不合适的选择，但留下三到五款候选之后，判断必须交给自己的数据。

第二条：对任何你将作为决策依据的高分，做一次改题验证。改掉题目里决定答案的那个条件，用同一个模型再问一次。如果答案不变，说明这个分数里有记忆的成分。这个动作几分钟就能完成，却能挡掉最贵的一类误判。

第三条：区分「知识型任务」与「查证型任务」两种能力，分别取分。封闭型知识任务（标准问答、固定抽取、分类）看的是模型记住了多少，你的系统里这类任务占比越高，越该关注幻觉率而不是正确率；开放查证任务（跨文档核对、数值推理、在数据里发现规律）看的是能不能现场找到答案，这类任务在真实业务里的比重正在快速上升，而它们的准确率，用固定题库很难测准。

如果公开榜单只能当第一层筛选，那么第二层必须由自己建。这件事听起来像个大工程，实际拆开之后比想象中轻。

选题不要从「AI 能做什么」开始，而要从「我们业务里真实发生过的任务」开始。翻最近三个月的工单、报表、审批记录和客户咨询记录，把反复出现的处理动作一条条摘出来。这些是有人工正确答案可对照的真实样本，比任何公开题库都更接近你的业务。

起步规模建议 200 题左右。其中 150 题是新题——用你业务的真实表述、真实的字段名、真实的边界条件写；30 题是影子题——公开题库题目的改动版本，用来定期自查模型是否在依赖记忆；20 题是陷阱题——故意使用数据里没有的字段、互相矛盾的条件、超出范围的问题，专门测它会不会硬答。这三类的配比不需要严格，你可以按业务特点调整，但一定要有影子题和陷阱题。

评测规则要照抄「致知」榜的两条精髓：第一，每题至少重复三次取最优结果，抵消随机性；第二，答案必须可判定——要么有确定答案，要么写清评分要点，否则评出来的是印象不是数据。

最后是节奏。建议每六周重跑一次，因为模型换代会同时改变能力和风格；把每次的结果按模型、版本、题集版本一起存档，这样三个月后你就有了别人没有的东西——一条自己业务场景下的能力变化曲线。到那时，选谁、什么价、要不要换，都不再是猜。