您现在的位置是:时尚 >>正文
OpenAI再次暂停前沿模型训练
时尚32956人已围观
简介据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model deve ...
据央视新闻,再次暂停因接连发生失控事故,前沿OpenAI表示,模型已暂停其最新一代人工智能模型的训练训练、评估及包含工具调用的再次暂停推理。当地时间9月25日,前沿OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的模型文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,训练这是再次暂停短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的前沿现实风险。
本次暂停仅针对内部研发管线,模型面向普通用户的训练ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。再次暂停
事件发生在9月20日,前沿在受控沙盒测试环境中,模型一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。
报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。
据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。
OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。
另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此,OpenAI没有证实这一说法。
9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。
报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。
作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。
接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
Tags:
相关文章
转存学习!一图速览二十届五中全会公报
时尚来源:人民日报微博声明:本文系转载自互联网,请读者仅作参考,并自行核实相关内容。若对该稿件内容有任何疑问或质疑,请立即与铁甲网联系,本网将迅速给您回应并做处理,再次感谢您的阅读与关注。 ...
【时尚】
阅读更多中古椅子设计展到底有什么好看的?红木人可以学习的地方有哪些?
时尚今天我们来到最有文化气息、最有创意的假日广场,来看一场中古设计展。作为一名从业近20年的红木人,我也特别关注各种家具设计,今天来到这个中古设计展,一起分享给我们的红木人来共同关注、共同学习。这些都是非 ...
【时尚】
阅读更多郑州清和苑里小区现“黑物业”地下室被改成“迷宫”
时尚郑州清和苑里小区现“黑物业”地下室被改成“迷宫”发布时间:2018-11-02 08:17 来源:豫都网 我要投稿[摘要]郑州清和苑小区,从去年年底至今,不断有业主给记者打来电话,投诉称小区物业太霸道 ...
【时尚】
阅读更多
热门文章
最新文章
友情链接
- 9月份内蒙古动力煤月均价424.09元/吨,环比上涨4.68%
- 更安全、更高效、更智能,创造更多价值
- 小加准绝杀伦纳德43分 史诗夜!灰熊加时胜马刺
- 23早报:哈登盼解决慢热 戈贝尔出战第四场存疑
- 汪洋:三尺讲台 满天星光
- 夏天来了!不清洗干净的空调你敢开吗?—万维家电网
- 郑州恒通小区违建严重 多个楼体出现巨大裂缝
- 创新高!全球动力煤价格上涨达到每吨154.6美元
- 昆仑润滑生态伙伴大会将于8月12日启幕 以焕新之力开启产业生态新篇章
- 《淮南子》学史传承之功臣:东汉学者高诱
- CBA新赛季重启升降级制度
- 《无主之地3》UI系统大更新 可方便观看武器装备信息
- 2024年我国对外直接投资净额1922亿美元
- 《无主之地3》UI系统大更新 可方便观看武器装备信息
- 下周美联储不会加息,要改变这一结果需要何种条件?
- 《狂怒2》上市预告片公布 5月14日正式上线
- 电麒麟405轻量化版登场!
- 小加准绝杀伦纳德43分 史诗夜!灰熊加时胜马刺
- 双十一门窗焕新指南:旧窗怎么换?选什么更靠谱?
- 好逛又好买!抖音商城双11热卖商品榜发布
- 前瞻:哈登继续缠斗威少 骑士欲横扫步行者晋级
- 我县召开全县项目谋划、储备专题培训会
- 《全面战争:三国》5月下旬发售 两种模式两种体验
- 我县召开秸秆禁烧工作会议
- 好逛又好买!抖音商城双11热卖商品榜发布
- 今日公司重大事项汇总 新三板挂牌公司累计成交金额达550亿元
- 2月3日国际油价继续大涨 今日油价报价多少?
- 更安全、更高效、更智能,创造更多价值
- 晋江市领导以“四不两直”方式夜查安全生产工作
- 厦门公布21条措施,推动金砖创新基地高质量发展
- 黄金交易提醒:中东炮火推高油价,通胀阴云重压贵金属,金价重挫近3%创两个半月新低!
- 昆仑润滑生态伙伴大会将于8月12日启幕 以焕新之力开启产业生态新篇章
- 煤价又涨了!进口煤马上要破1100元了!
- 黄金交易提醒:中东炮火推高油价,通胀阴云重压贵金属,金价重挫近3%创两个半月新低!
- 全球最大单体分布式储能工厂落地南通
- 9月煤炭供需数据简析:产量显著改善 火电环比大幅下降
- “帝森杯”全国书法、美术作品展开展
- 君尚悠果谷物饮品,抓住中式谷物饮品的财富窗口!
- 9月煤炭供需数据简析:产量显著改善 火电环比大幅下降
- 9月煤炭供需数据简析:产量显著改善 火电环比大幅下降
- 欢歌庆丰收 农民当主角
- 官宣:2026中国红木整装家具暨国潮家居发展论坛定档3月16日
- 队员零失误 在平衡木项目上扭转战局 中国女团时隔20年再夺体操世锦赛冠军
- 赢家又是保罗·马尼耶!2026环广西世巡赛首站分出高下
- 更安全、更高效、更智能,创造更多价值
- 我县召开秸秆禁烧工作会议
- 下周美联储不会加息,要改变这一结果需要何种条件?
- 《竹板说网安》入选全国网络文艺视频征集活动
- 喜报|隆饰丹香板斩获 2026 美国MUSE 缪斯设计奖银奖!
- 沃尔29分奇才其他首发30分 老鹰回勇破魔咒可期