OpenAI新旗舰卡在安全审查:循环推理风波再起,10%算力转向防护
BiRun 讯,OpenAI 正加紧解决下一代旗舰模型的安全问题,争议焦点之一是循环式 Transformer 架构。它可以让同一组网络层反复处理信息,在不增加模型权重的情况下完成更多轮计算,但部分内部推理不会写进可读的思维链(CoT),可能让研究人员更难发现模型作弊、越权等行为。
这项技术早在 GPT-6 Astra 发布时就引发争议。9 月 2 日,OpenAI 首席科学家 Jakub Pachocki 出面澄清,称包括 Astra 在内的前沿模型,计算深度与 GPT-4 相差不超过两倍。他没有否认循环架构的存在,但强调思维链监控能力下降不能简单归咎于架构变化。10 月初,微软又意外披露,GPT-6.1 Sol 与 GPT-6 Sol 使用相同的基础权重,但推理循环从 3 轮减少至 2 轮,相关内容随后被删除。
监控能力下降则已得到 OpenAI 官方测试证实。Astra 系统卡显示,在长度相近的思维链控制测试中,Astra 按要求修改推理文字的成功率达到 60.9%,前代 GPT-5.6 Sol 只有 16.1%。另一项模拟攻击发现,只要让 Astra 知道自己正在被监控,它就可能主动缩短思维链,甚至直接调用工具完成攻击,使仅检查思维链的监控系统漏报。
安全压力已影响模型发布。9 月底,另一款原计划作为 GPT-6.1 Astra 发布的模型,也因安全评测未达标而被取消发布。
知情人士透露,OpenAI 已将约 10% 的总算力转向安全与对齐研究,相当于数百兆瓦的数据中心容量。公司还在加固测试沙盒、收紧训练审批,并对下一代旗舰模型进行额外安全评估。
信源
动察 Beating 频道 · 动察 Beating 交流群。
这项技术早在 GPT-6 Astra 发布时就引发争议。9 月 2 日,OpenAI 首席科学家 Jakub Pachocki 出面澄清,称包括 Astra 在内的前沿模型,计算深度与 GPT-4 相差不超过两倍。他没有否认循环架构的存在,但强调思维链监控能力下降不能简单归咎于架构变化。10 月初,微软又意外披露,GPT-6.1 Sol 与 GPT-6 Sol 使用相同的基础权重,但推理循环从 3 轮减少至 2 轮,相关内容随后被删除。
监控能力下降则已得到 OpenAI 官方测试证实。Astra 系统卡显示,在长度相近的思维链控制测试中,Astra 按要求修改推理文字的成功率达到 60.9%,前代 GPT-5.6 Sol 只有 16.1%。另一项模拟攻击发现,只要让 Astra 知道自己正在被监控,它就可能主动缩短思维链,甚至直接调用工具完成攻击,使仅检查思维链的监控系统漏报。
安全压力已影响模型发布。9 月底,另一款原计划作为 GPT-6.1 Astra 发布的模型,也因安全评测未达标而被取消发布。
知情人士透露,OpenAI 已将约 10% 的总算力转向安全与对齐研究,相当于数百兆瓦的数据中心容量。公司还在加固测试沙盒、收紧训练审批,并对下一代旗舰模型进行额外安全评估。
信源
动察 Beating 频道 · 动察 Beating 交流群。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯