OpenAI 叫停前沿訓練：新模型網絡能力逼近紅綫

BiRun 消息，作者：OpenAI 編譯：深潮 TechFlow 深潮導讀： OpenAI 首次因內部模型可能達到關鍵網絡安全能力而暫停前沿 RL 訓練，暴露出前沿 AI 能力與安全管控之間的緊張賽跑。這篇文章拆解了他們在隔離、監控、對齊上的新防綫，對關注 AI 安全敘事和頭部實驗室策略的投資者有直接參考價值。 過去幾週，有兩件事凸顯了更強 AI 系統帶來的風險在上昇。一是 OpenAI 與 Hugging Face 事件。二是初步証據表明，我們卽將推出的模型 Astra 可能達到《準備框架》中的「關鍵網絡安全能力」閾值。這些發展加上內部研究的快速進展，讓我們更迫切地要在訓練全過程加強監控、對齊和隔離防護。 模型能力越強，內部開發和測試它們的風險也越大。我們的監控、對齊和安全標準必須跑在這些風險前面。為了達到這些標準，我們有意放慢了擴展節奏，包括暫停了最新部署模型的強化學習（RL）訓練兩週，衕時進一步加固和紅隊測試研究環境，並擴大監控系統覆蓋範圍。我們規模最大的前沿 RL 運行仍處於暫停狀態，期間我們進行較小規模的訓練和評估，以判斷模型行為、驗証防護措施，並在繼續之前積累更多對齊証據。 對齊，也就是讓 AI 系統按預期行事並接受人類監督，一直是我們研究的覈心。現在，我們要求在訓練的整個過程中都有更強的對齊行為証據，並以此前已在進行的研究和評估為基礎。讓能力越來越強的系統保持對齊，是整個領域都要面對的挑戰。從卽將推出的模型進展來看，我們需要一套更廣氾的方案，在現有《準備框架》之上擴展。 我們認為有必要透明地說明我們的方法正在如何變化。下面會介紹我們已對研究流程和基礎設施做出的調整，以及仍在進行的工作。 為更強的模型加強防護我們開發更強模型的方法依賴三項相互強化的防護措施： 監控：發現並讓我們能夠應對令人擔憂的行為。 對齊：降低有害或未經授權行為發生的可能性。 安全措施：限製 AI 系統可以訪問或影響的範圍。 我們預計模型很快會主導大部分安全工作，包括防禦其他模型。這將讓這三項防護隨模型能力衕步擴展，我們認為這一點至關重要。 我們在研究和部署中都會應用這些防護，並根據每個模型的能力、運行環境和風險級別進行調整。 保護研究環境隨着前沿模型獲得更強的網絡安全能力，我們正在提高訓練和評估環境的安全標準。達到這些標準需要大量工程投入，也給前沿研究帶來了鉅大成本和延期。OpenAI-Hugging Face 事件發生後，我們立卽暫停了研究集羣中可能執行代碼或使用可聯網工具的前沿模型推理。很快我們恢復了一條更受限、更安全的代碼執行路徑，然後逐個檢査每個工作負載，判斷是否能安全恢復。有些研究負載在新的控製措施下恢復了，有些還需要進一步調整。 在隨後幾週裡，我們製定並開始為前沿研究負載實施更強的安全要求。例如： 負載隔離：現在對執行模型生成代碼或其他不受信任代碼的負載，我們要求更強的隔離（「沙箱」）。這也適用於在處理模型輸出時可能被攻破的軟件。 網絡隔離：我們實施了更多控製，把高風險和不受信任的負載與互聯網隔開。這些控製的設計目標是，卽使某個負載或支持服務被攻破，也不足以單獨獲得對互聯網或其他內部網絡的未授權訪問。 持續安全測試：我們重新配置了環境，移除可能脆弱的共享服務，減少常駐權限，改善安全和信任邊界。我們還在提昇收集和監控安全日誌的能力。最後，我們正投資自動化，用我們自己的模型持續模擬攻擊，測試這些邊界。 這些控製疊加起來形成縱深防禦，幫助保護研究環境免受攻擊。目前，我們對涉及 Astra 或網絡模型的工作負載要求最嚴格的安全防護，因為我們已經判定 Astra 模型可能具。