本站信息不构成投资建议 · 详见使用规则
OpenAI联创主张AI对齐应成公共科学
OpenAI联创谈“AI去中心化”:AI对齐应成公共科学,不能由几家公司说了算
OpenAI联创John Schulman在A16Z播客中表示,AI对齐不应由少数公司主导,而应发展为全球参与的公共科学。他指出当前递归自我改进(RSI)进程约25%至50%,虽已出现加速研发迹象,但模型仍缺乏独立发现有价值研究方向的能力。
当AI逐渐具备加速自身研发的能力,一个更根本的问题也随之浮现:未来的AI应该遵循谁的价值观,又该由谁来决定?
Thinking Machines联合创始人、OpenAI联创John Schulman在A16Z播客节目中表示,AI对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有塑造AI价值观的空间。
这一问题正变得愈发迫切。随着递归自我改进(Recursive Self-Improvement,RSI)从理论设想逐步走向实践,AI开始帮助研究人员加速模型研发,甚至展现出进一步自动化AI研究的潜力。
OpenAI首席研究官Mark Chen表示,AI研发流程中已经出现RSI加速效应的早期信号。他估计,当前RSI进程约为25%至50%,而AGI整体能力的发展已推进至约80%。

AI开始加速自身研发,但距离完全自主仍有距离
RSI通常指利用AI辅助并加速AI研究。Mark Chen表示,Codex等工具已被用于提升预训练、强化学习等环节的效率。OpenAI也在开发类似“AI研究实习生”的系统,能够根据研究人员设定的任务运行实验并返回结果,但目前仍以辅助人类研究为主,尚未实现模型自主研发下一代模型。
AI的短板在于独立发现有价值的研究方向。John Schulman举例称,即使让AI助手Fable围绕一个想法连续工作数日、运行实验,结果仍不够理想;人类研究员介入并提供更具体的指导后,研究才取得更多进展。
Mark Chen估计,当前RSI进程约为25%至50%。Meter于11月5日发布的报告则估计,Anthropic过去一年的AI研究进展速度提高了约一倍,但这一提速很可能主要来自人类研究员借助AI工具提高效率,而非完全自主的AI研发。
通往完全RSI仍面临研究品味、评估和算力等障碍。模型尚不擅长判断哪些想法具有长远价值,下游任务的评估基准也需要不断更新;与此同时,研究仍依赖实际实验验证。Mark Chen认为,短期内需要通过小规模实验提高大规模训练的预测能力,长期则要看AI能否参与下一代数据中心建设。

更强大的AI,既是对齐风险也是解决方案
随着AI逐步参与自身研发,模型能力增长也让安全对齐问题更加紧迫。Mark Chen警告,如果模型目标与人类意图不一致,长时间运行可能使其偏离既定目标,甚至产生意料之外的次级目标,例如将自身权重复制到OpenAI之外。
但更强大的模型也可能成为解决对齐问题的工具。Mark Chen表示,思维链监控是目前最有效的模型对齐手段之一,未来需要更强大的模型参与监控和对齐其他模型。OpenAI内部也已有来自预训练、强化学习等不同研究方向的人员组建对齐团队。
John Schulman则看好通过改进训练目标来解决对齐问题。他提到OpenAI的“Confessions”研究:通过奖励模型如实报告自身偏差行为,同时不影响其主要回答的奖励,鼓励模型披露潜在问题。
Anthropic今年8月公布的研究也显示,自动化AI研究员已能针对10种对齐失败找到修复方案,部分方法在规模近五倍的更大模型上同样有效,表现甚至超过经验丰富的人类研究员提出的方案。这表明,自动化研究不仅可能加快模型能力提升,也有望帮助研究人员更快发现和修复安全问题。
AI对齐应成为公共科学,不能由少数公司主导
技术上如何确保AI符合人类意图之外,还有一个更深层的问题:究竟应该按照谁的价值观来对齐?John Schulman指出,不同人拥有不同的价值观,用户应当拥有更多控制和塑造所使用AI价值观的能力。
他希望AI对齐成为一门真正的公共科学,由世界各地更多人理解、参与和推进,而不是过度依赖少数几家公司的研究结论。在他看来,如果研究主要集中于少数公司,就容易过度依赖这些机构自身的判断。
更广泛的全球参与则有助于提高研究体系的开放性和稳健性。不同团队可以从各自的实践和失误中积累经验,避免整个领域过度依赖少数机构的结论。
来源:华尔街见闻 · wallstreetcn.com