AI開始挑戰眞實工程設計:GPT-6 Astra通過率37%,5款模型掛零
BiRun 訊,動察 Beating AI 快訊,AI 初創公司 Xplore 發布 RWE-Bench,測試大模型解決眞實工程問題的能力。
11 款模型挑戰 20 項機械、電氣和航空航天任務,GPT-6 Astra 以 37% 的單次平均通過率排名第一,Claude Opus 5.5 為 29%,GPT-6.1 Sol 為 25%。另有 5 款模型全部失敗,包括 DeepSeek V4.1 Flash、GLM-5.3 和 Grok 4.7。
任務涵蓋發動機曲軸設計、電路板佈綫和渦輪葉片散熱仿眞。設計曲軸要兼顧尺寸、重量、強度和疲勞壽命;給一塊已經安裝近 300 個元件的八層電路板佈綫,需要連接 71 條信號綫,衕時控製時序誤差和阻抗;模擬渦輪葉片散熱,還得正確計算高溫氣流與葉片之間的熱量傳遞。
每款模型使用各自配套的 Agent 工具鏈,直接操作專業工程軟件。每道題最多運行 24 小時,獨立嘗試 5 次。提交的設計由工程軟件和物理求解器自動驗証,任何一項硬性要求不達標都算失敗。全部 1100 次測試中,有 4 道題始終無人攻克。不過,允許每題嘗試 5 次後,Claude Opus 5.5 的任務通過率昇至 70%,反超 Astra 的 60%。
Xplore 希望把這類工程任務進一步變成強化學習訓練環境,讓 AI 通過反復設計、仿眞和糾錯提高工程能力。
11 款模型挑戰 20 項機械、電氣和航空航天任務,GPT-6 Astra 以 37% 的單次平均通過率排名第一,Claude Opus 5.5 為 29%,GPT-6.1 Sol 為 25%。另有 5 款模型全部失敗,包括 DeepSeek V4.1 Flash、GLM-5.3 和 Grok 4.7。
任務涵蓋發動機曲軸設計、電路板佈綫和渦輪葉片散熱仿眞。設計曲軸要兼顧尺寸、重量、強度和疲勞壽命;給一塊已經安裝近 300 個元件的八層電路板佈綫,需要連接 71 條信號綫,衕時控製時序誤差和阻抗;模擬渦輪葉片散熱,還得正確計算高溫氣流與葉片之間的熱量傳遞。
每款模型使用各自配套的 Agent 工具鏈,直接操作專業工程軟件。每道題最多運行 24 小時,獨立嘗試 5 次。提交的設計由工程軟件和物理求解器自動驗証,任何一項硬性要求不達標都算失敗。全部 1100 次測試中,有 4 道題始終無人攻克。不過,允許每題嘗試 5 次後,Claude Opus 5.5 的任務通過率昇至 70%,反超 Astra 的 60%。
Xplore 希望把這類工程任務進一步變成強化學習訓練環境,讓 AI 通過反復設計、仿眞和糾錯提高工程能力。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊