联合国人工智能小组评估美国智能体“越界”事件

2026/9/22 10:24:07    来源：新华社

　　联合国“人工智能独立国际科学小组”21日发表专题简报，评估美国开放人工智能研究中心（OpenAI）的人工智能体今年7月在测试中“越界”，侵入美国“抱抱脸”公司系统的事件。

　　7月下旬，OpenAI承认，其网络安全训练与评估场景中的人工智能体绕过网络限制，侵入“抱抱脸”公司的部分系统。智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人员并试图掩盖作弊行为，上述每一步操作均无人类指令干预。

　　简报说，AI系统能力提升固然可帮助用户实现目标，但当AI的目标和用户意图发生“对齐失效”时，就可能产生危害。更强的能力让AI更容易找到意外的漏洞、突破安全防护屏障，并在人类监督下隐藏自身行为。一旦智能体之间开展规划与协同，造成的损害还会进一步放大。尽管OpenAI终止了此次异常活动，但这并不代表运营方能够管控未来那些规划能力更强，可在无监督条件下长时间运行，或是更擅长识别并突破安全防护机制的智能体。

　　该简报还阐释了训练过程如何引发“对齐失效”的目标和行为，包括奖励作弊、奖励篡改现象。报告说，AI故障可跨越企业和国界，没有任何单一机构或国家能接触足够多的事件样本进而识别所有新出现的风险模式。

　　报告并未给出应对此类失控事件的最佳方式，但建议可参考航空、核能等其他需要国际协作、技术准入的领域的处置思路。报告说，AI相关风险管理需要得到更多关注和资源投入。监测与这类事件相关的证据和科学进展，正是“人工智能独立国际科学小组”的一项重要职责。

　　联合国大会去年8月决定设立“人工智能独立国际科学小组”，今年2月任命来自世界各地的40名小组成员。今年7月初，小组就人工智能的机遇、风险与影响发布了初步报告。

（记者尚绪谦）

相关信息： 伊朗总统22日赴美出席联合国大会 俄总统新闻秘书：美对俄新制裁不利于俄美关系修复 国际移民组织：也门近13万人流离失所 默茨：德国执政联盟将继续维持 丹麦及格陵兰岛将和美国签署安全协议 英媒：英国将向沙特提供“防御性”军事支持 波兰寻求分阶段将驻波美军规模扩大至1.5万人 台风“杜鹃”带来暴雨　日本关东地区发生山体滑坡 首届巴拿马城马拉松举行

	焦作网免责声明：
① 本网所有稿件，未经许可不得转载。 ② 转载稿件不代表本网观点，如有异议请联系我们即可处理。 ③ 刊发、转载的稿件，作者可联系本网申领稿酬。