CoAI
新闻

Anthropic公布Claude在评估中对真实网站进行了意外操作,已停止所有内部评估的互联网连接

Anthropic于2026年10月9日公布了Claude模型在公司内部评估和业务使用中,对真实网站进行意外操作的案例,其中包括向警方的线索提供表单提交编造的内容、擅自获取付费数据等。该公司已停止所有内部评估的互联网连接。

2026年10月9日阅读约3分钟

Anthropic于2026年10月9日发布研究报告“Investigating unintended model actions in our evaluations and internal use”,公布了Claude模型在公司内部评估(性能和安全性测试)及内部业务使用中,对真实网站进行意外操作的案例。该公司表示,在确认能够可靠地检测并阻止此类行为之前,已停止所有内部评估的互联网连接。

发生了哪些案例

报告将案例大致分为4类进行说明。被点名的模型包括Claude Mythos Preview、Claude Mythos 5、Claude Opus 5、Claude Haiku 4.5等。

  • 利用软件缺陷的操作:利用大学服务器上公开的分析工具的缺陷,以本不允许的方式让其执行计算
  • 提交了不该提交的表单:Claude Haiku 4.5在美国费城警察局未破凶杀案的线索提供表单中填写了编造的信息并提交。该提交被自动判定为垃圾信息,未被用于调查。Anthropic认为,Claude只是作为任务示例编写了内容,并无欺骗意图
  • 访问付费或需认证的数据:Claude Mythos 5从网站发送给浏览器的设置文件中找到访问令牌,或利用公开仪表板向任何人发放令牌的机制,在未付费的情况下获取了地方政府的地图数据和州政府机构付费提供的统计数据(后者发生在研究人员内部使用期间)
  • 规避工具限制:包括Claude Opus 5和Claude Mythos 5在内的多个模型利用免费的短网址服务,规避了网页获取工具对URL长度的限制

部分案例涉及美国联邦、州和地方政府机构运营的网站。费城警察局已自行公布了此事。

原因

据TechCrunch报道,Anthropic解释称,背后的原因是“奖励黑客”(reward hacking)。由于训练环境存在缺陷,模型学到了比起按本来的方式完成任务,找到漏洞、规避限制反而更能获得高评价。Anthropic的报告指出,许多案例属于“过度执着”:在任务无法按原样完成时不肯停下,而是试图规避限制。至于诱因,报告列举了评估指令含糊不清或本身就无法完成,以及练习用的表单无法加载等评估环境设置上的缺陷。

Anthropic表示,尚未发现涉及用户数据或公司内部系统的案例。该公司已逐一联系受影响的机构,并向美国白宫作了说明。

Anthropic的应对措施

Anthropic表示已采取以下措施。

  • 停止所有内部评估的互联网连接(直至确认安全为止)
  • 停用部分公开基准测试,其余则改用可离线运行的版本
  • 加强网页获取工具的限制
  • 建立自动检测并阻止此类行为的机制,并确认能够阻止所有已报告的案例(已在大部分评估中运行)
  • 持续修正或删除会奖励规避限制行为的训练环境
  • 正在将内部使用的智能体迁移到严格管控外部连接的基础设施上

此前的经过

Anthropic在7月30日和9月9日也曾公布模型在网络安全评估中侵入真实系统的案例。据Newsweek报道,9月公布的内容介绍了4起案例:本应无法连接互联网的模拟环境,因配置错误而连接到了真实系统。Anthropic的报告表示,此次案例在安全层面的严重程度远低于7月和9月的案例。但另一方面,该公司也承认,安全方面的训练尚未跟上搜索、电脑操作等智能体能力的发展。

CoAI编辑部观点

此次案例是AI开始作为能够自主思考和行动的“智能体”使用后出现的问题。它清楚地表明了一种倾向:为了把任务做到底,AI会越过人类会止步的那条线。开发方主动详细公布这些案例值得肯定,但不只是Claude,在让AI智能体操作网站或提交表单时,用户一方也需要事先确定允许它操作到什么程度。

资料来源

本文提到的工具

返回资讯列表