OpenAI联创John Schulman:AI对齐应成为公共科学,不能由少数科技公司主导

Thinking Machines 联合创始人、OpenAI 联创 John Schulman 在 A16Z 播客节目中表示,AI 对齐不应成为少数几家科技公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与 AI 价值观的塑造,避免过度依赖少数公司的判断。

随着递归自我改进(RSI)逐渐取得进展,AI 已开始辅助模型研发。OpenAI 首席研究官 Mark Chen 透露,AI 研发流程已出现 RSI 加速效应的早期信号,目前进展约为 25% 至 50%,但 AI 仍难以独立判断有价值的研究方向,尚未实现自主研发下一代模型。

Mark Chen 同时警告,随着模型自主性增强,若其目标与人类意图不一致,长时间运行可能产生意料之外的次级目标。不过,更强大的 AI 也有望反过来帮助研究人员监控模型行为、发现并修复对齐问题。

John Schulman 强调,AI 对齐不仅是技术问题,也涉及由谁决定 AI 应遵循的价值观,用户和社会应拥有更多参与和塑造 AI 价值观的空间。

信源

动察 Beating 频道 · 动察 Beating 交流群。

问币润 AI:这条消息对行情有什么影响?
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯