AI开始挑战真实工程设计:GPT-6 Astra通过率37%,5款模型挂零
BiRun 讯,动察 Beating AI 快讯,AI 初创公司 Xplore 发布 RWE-Bench,测试大模型解决真实工程问题的能力。
11 款模型挑战 20 项机械、电气和航空航天任务,GPT-6 Astra 以 37% 的单次平均通过率排名第一,Claude Opus 5.5 为 29%,GPT-6.1 Sol 为 25%。另有 5 款模型全部失败,包括 DeepSeek V4.1 Flash、GLM-5.3 和 Grok 4.7。
任务涵盖发动机曲轴设计、电路板布线和涡轮叶片散热仿真。设计曲轴要兼顾尺寸、重量、强度和疲劳寿命;给一块已经安装近 300 个元件的八层电路板布线,需要连接 71 条信号线,同时控制时序误差和阻抗;模拟涡轮叶片散热,还得正确计算高温气流与叶片之间的热量传递。
每款模型使用各自配套的 Agent 工具链,直接操作专业工程软件。每道题最多运行 24 小时,独立尝试 5 次。提交的设计由工程软件和物理求解器自动验证,任何一项硬性要求不达标都算失败。全部 1100 次测试中,有 4 道题始终无人攻克。不过,允许每题尝试 5 次后,Claude Opus 5.5 的任务通过率升至 70%,反超 Astra 的 60%。
Xplore 希望把这类工程任务进一步变成强化学习训练环境,让 AI 通过反复设计、仿真和纠错提高工程能力。
11 款模型挑战 20 项机械、电气和航空航天任务,GPT-6 Astra 以 37% 的单次平均通过率排名第一,Claude Opus 5.5 为 29%,GPT-6.1 Sol 为 25%。另有 5 款模型全部失败,包括 DeepSeek V4.1 Flash、GLM-5.3 和 Grok 4.7。
任务涵盖发动机曲轴设计、电路板布线和涡轮叶片散热仿真。设计曲轴要兼顾尺寸、重量、强度和疲劳寿命;给一块已经安装近 300 个元件的八层电路板布线,需要连接 71 条信号线,同时控制时序误差和阻抗;模拟涡轮叶片散热,还得正确计算高温气流与叶片之间的热量传递。
每款模型使用各自配套的 Agent 工具链,直接操作专业工程软件。每道题最多运行 24 小时,独立尝试 5 次。提交的设计由工程软件和物理求解器自动验证,任何一项硬性要求不达标都算失败。全部 1100 次测试中,有 4 道题始终无人攻克。不过,允许每题尝试 5 次后,Claude Opus 5.5 的任务通过率升至 70%,反超 Astra 的 60%。
Xplore 希望把这类工程任务进一步变成强化学习训练环境,让 AI 通过反复设计、仿真和纠错提高工程能力。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯