记者获悉,字节跳动Seed近日发出内部邮件,宣布将成立“Seed Model-Alignment&Preparedness”部门,由严林负责,汇报给Seed负责人吴永辉。原Responsible AI团队及部分Chat团队成员将转入新部门。
据悉,该部门设立旨在加大安全与对齐方向投入。对齐的核心,是让模型行为与人类意图、安全约束保持一致,提升Agent Model(智能体模型)安全能力,以及防范前沿能力风险。
对此,北京市社会科学院副研究员王鹏对证券时报记者表示,这一部门调整,本质上是国内头部大模型厂商在AI治理落地层面的关键动作。将安全对齐从附属职能升级为独立核心部门,直指智能体模型落地的核心风险点,契合国内发展与规范并重的AI治理导向。
“这次架构调整并非常规的团队合并,而是字节在前沿模型竞争进入深水区后的必然选择。专门聚焦对齐与前沿风险防控,相当于为后续智能体相关技术落地提前筑牢安全底座。从行业发展阶段看,头部厂商率先将安全对齐职能独立出来,说明AI行业已经彻底跨过单纯比拼模型性能的阶段,合规与安全能力正在成为技术落地的核心入场券。”他表示。
据公司方面介绍,此前国内大模型研究团队的安全与对齐工作大多纳入公司整体安全合规体系,字节跳动Seed是国内首家单独成立安全与对齐部门的前沿AI实验室。
Seed团队内部判断,伴随模型能力提升、应用场景日趋复杂,安全与对齐已不只是风险防范,更是决定模型能否规模化应用的核心能力。
据了解,Seed安全与对齐部门将围绕模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控等方向持续投入,并加强与外部研究机构、第三方评测机构的公开合作,最终使前沿模型在安全与授权约束内有效完成任务;伴随模型能力和自主性增强,持续降低滥用及行为偏离风险,建立应对未知风险的全面安全体系。