Anthropic新安全措施：Claude每次回答後，還會在後台審査你們的聊天記彔

BiRun 訊，Anthropic 披露了一套名為「自我評估」的安全機製。從今年 6 月開始，Claude 在回答用戶後，還會在後台檢査剛才的對話，判斷有沒有詐騙、網絡攻擊等濫用風險，並給出風險等級。用戶看不到這一步，系統也不會因此立卽攔截回答。

過去，Anthropic 主要依靠額外的安全分類器識別違規行為。現在，Claude 可以利用剛剛處理過的對話上下文，自己完成初步審査。平均只需多生成約 10 個 Token，額外推理算力不到 2%。

這套機製已經發現傳統安全系統漏掉的問題。今年 8 月，單個 API 客戶觸發超過 10 萬條涉及兒童性剝削的風險警報。9 月，系統又發現有人利用 Claude Code 自動實施戀愛詐騙，針對數十名受害者。Anthropic 調査後封禁了相關帳號，並將前一事件報告給美國有關機構。

但 Claude 並不總能識破噁意行為。Anthropic 在關閉常規防護的 24 項網絡攻擊測試中，嘗試用自我評估實時攔截，仍有 13 項攻擊成功。因此，這套機製目前主要用於事後監控，而不是實時阻止用戶操作。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。