讓AI遷移整個代碼庫，94.6%沒過關：20項任務13項無人做成

BiRun 訊，AI Agent 公司 Einsia 發布 SWE Refactor Bench，專門測 Coding Agent 能不能自己遷移整個代碼庫。20 個任務來自 SQLite、zlib、libsodium、GraphHopper 等眞實項目，包括 C 改 Rust、Maven 改 Gradle、SQLite 移植到 WASI。每項給 Agent 6～30 小時。

評測第一關檢査舊技術棧是不是眞的被替掉，防止 Agent 留着舊代碼混過去；第二關跑超過 13 萬項固定檢査；最後再派 6 個獨立 Coding Agent，各花 1 小時專門找隱藏 bug。

8 個前沿模型、26 種配置一共跑了 520 次。340 次確實完成遷移，88 次把預先準備的測試全部跑綠，但其中 60 次又被最後一輪找出了隱藏 bug。最終只有 28 次完全過關，通過率 5.4%；20 個任務裡有 13 個沒人做成。Claude Opus 5 的 xhigh 配置最好，20 個任務完整通過 5 個。

現在的 Coding Agent 已經能大規模改代碼，但要做到「整個系統改完還能完全不出錯」，還差得很遠。

信源

動察 Beating 頻道 · 動察 Beating 交流羣