Anthropic警告：AI可能很快進入自我加速階段，等人類察覺或為時已晚

BiRun 訊，Anthropic 在 11 月 2 日更新的 IPO 招股書中警告，AI 可能很快跨過「遞歸自我改進」（RSI）相關的關鍵門檻，讓 AI 研發速度大幅加快。過去也出現過未能及時察覺研發進步顯著加速，直到加速發生後才發現的情況。

目前，Claude 已經參與編寫代碼、運行實驗和處理訓練數據，幫助開發更強的下一代模型。新模型又能反過來加快後續研發，形成不斷提速的循環。

按照 Anthropic 的安全政策，觸及這道關鍵門檻有兩種情況：
1. AI 能以相近成本完成整個 AI 研究團隊的工作；
2. 或者讓 AI 技術進步速度至少翻倍，把原本需要兩年取得的進步壓縮到一年。

隨着 AI 越來越深入自身研發，模型能力可能增長得比安全評測、對齊研究和防護措施的更新還快。Anthropic 目前尚未認定任何現有模型達到這一水平，此次預警主要基於內部估算和對未來模型的預測。目前正考慮脩改安全政策，確保關鍵研發過程仍由人類監督和控製。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。