字节Seed单列AI安全部门:严林直报吴永辉,重点防范Agent越权

BiRun 讯,动察 Beating AI 快讯,字节跳动 Seed 宣布将成立独立的安全与对齐部门(Model-Alignment & Preparedness),由豆包大模型对齐方向负责人严林带队,直接向 Seed 负责人吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员将转入新部门。

新部门的重点,是让模型在能力增强后仍能遵守安全和授权要求。除了防止聊天回答越界,还要确保 Agent 在调用工具、执行任务时不会擅自行动,并防范 CBRN(化学、生物、放射性和核)领域的高风险能力被滥用。团队将负责制定模型规范、开展安全评估与对齐训练、建立防护和风险监控机制,并引入外部研究机构及第三方评测。
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯