AI開始自動改Agent Harness了：Opus 5四項拿三項第一

BiRun 訊，Scale AI 推出 HarnessOpt-Bench，專門測試 AI 能不能自己脩改 Agent 的 harness，把另一個 Agent 調得更強。

Harness 就是包在模型外面的那套程序，包括 prompt、工具、記憶和工作流程。測試時，AI 會拿到一個故意沒有充分優化的 harness，根據跑分和失敗案例不斷改代碼，但裡面的模型本身不變。

改完之後，Scale 再拿一批它從沒見過的測試題考試，看改完後的 Agent 到底有沒有眞的變強。這樣可以避免 AI 只針對已知題目刷分。

Scale 用 Claude Opus 5、GPT-5.6 Sol、Kimi K3 等 5 個模型，在 4 類任務上跑了 111 次。Opus 5 表現最好，4 項拿下 3 項第一。

整體來看，負責改 harness 的模型是誰，比它用 Claude Code、Codex 還是 OpenCode 來改代碼更重要。

不過這還不是眞正的「AI 自我改進」。因為這次是一個 AI 去改另一個 Agent 的 harness，而且起始 harness 本來就故意留了不少優化空間。

Scale AI