详情

IT 之家 6 月 8 日音问，苹果机器学习计划中心于当地时辰 6 月 6 日发表了一篇计划论文，称现存 AI 模子并不具备实在的念念维才能或推理才能，而是依赖于花式匹配与追想，尤其是对于复杂的任务而言。

苹果计划东说念主员对现存的前沿"大型推理模子"—— 如 OpenAI o3-mini、DeepSeek-R1、Anthropic 的 Claude 3.7 Sonnet Thinking 和谷歌 Gemini Thinking —— 进行了系统评估。

计划发现，尽管这些模子具备生成防范"念念考链"的才能，并在中等复杂度任务上阐扬出上风，但其推理才能存在根人性局限：当问题复杂度提升特定临界点时，模子性能会皆备崩溃至"零准确率"。

此外，在模子推理流程中，即使仍有宽裕的推理算力，它们用于"念念考"的 token 数目反而随难度上涨而减少，这种自中意味着现存推理才略存在压根局限性。

这篇《念念考的幻象：通搅扰题复杂性的视角邻接推理模子的上风与局限》由 Parshin Shojaee 等东说念主撰写。计划标明，现时业界对这些模子的评估主要围聚在数学和编程基准测试上，体恤最终谜底的准确性，但这频频忽略了数据羞耻问题，也无法提供相干里面推理轨迹结构和质料的洞见。

计划东说念主员聘请了一系列可控的解谜环境，允许精准主管构成复杂性，同期保合手逻辑结构的一致性。这使得不仅不错分析最终谜底，还不错探究里面推理轨迹，从而更深入地了解这些模子是如何"念念考"的。

计划团队提议，模子阐扬可分为三个阶段：

低复杂度任务：传统大模子（IT 之家注：如 Claude-3.7 无念念维版块）阐扬更佳；中等复杂度任务：具备念念维机制的大型推理模子（LRMs）更占上风；高复杂度任务：两类模子均堕入皆备失效情状。

稀奇是，计划发现 LRMs 在施行精准操办方面存在局限性，无法使用显式算法且跨不同谜题进行推理时阐扬出不一致性。

总的来说，这项计划不仅质疑了现时基于已确立数学基准的 LRMs 评估范式，还强调了需要愈加细巧的实验莳植来探索这些问题。通过使用可胁制的谜题环境，本计划提供了对话语推理模子才能和局限性的长远概念，并为异日的计划指明了标的。

计划东说念主员默示，"这些发现隆起了现存 LRMs 的优点和局限性，激发了对于这些系统推理骨子的问题，这对它们的瞎想和部署具有进击深嗜。"

参考贵寓：开云体育