AI下棋实验出现反转:GPT-6 Astra逆袭击败Claude Opus,长上下文未能带来持续学习
AI模型评测平台Arena负责人Peter Gostev于北京时间10月16日发布国际象棋实验复盘,指出当前大模型仅靠反复练习、保存记忆和延长上下文,仍难以实现稳定的持续学习。
实验先让GPT-6 Astra和Claude Opus 5.5分别与Stockfish棋类引擎对弈200局,自主选择难度、记录经验并调整策略。Opus最终获得约1760的估算Elo评分,高于Astra的1400(Elo评分是一种衡量棋手相对竞技水平的评分体系,广泛应用于国际象棋等竞技项目)。
但在随后的30局直接对抗中,Astra反而以24.5比5.5大胜。另一项对照测试显示,GPT-6.1 Sol使用约80万Token长上下文时,表现反而逊于约30万Token版本。
Gostev认为,模型在长时间运行中可能形成固定策略或反复改变战术,却未必能有效积累经验。实验反映出,增加上下文容量和交互次数,并不必然转化为持续学习能力。
实验先让GPT-6 Astra和Claude Opus 5.5分别与Stockfish棋类引擎对弈200局,自主选择难度、记录经验并调整策略。Opus最终获得约1760的估算Elo评分,高于Astra的1400(Elo评分是一种衡量棋手相对竞技水平的评分体系,广泛应用于国际象棋等竞技项目)。
但在随后的30局直接对抗中,Astra反而以24.5比5.5大胜。另一项对照测试显示,GPT-6.1 Sol使用约80万Token长上下文时,表现反而逊于约30万Token版本。
Gostev认为,模型在长时间运行中可能形成固定策略或反复改变战术,却未必能有效积累经验。实验反映出,增加上下文容量和交互次数,并不必然转化为持续学习能力。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯