近期,人工智能代理“失控”的现象频繁见诸报道,而最新一起引发关注的案例来自腾讯。

腾讯为评估代理的能力,自9月下旬起派遣一批代理抓取成都动物园在高德导航上的相关数据。但由于高德导航设有反爬虫机制,这些代理迟迟无法获取所需信息。

若换作OpenAI或Anthropic的代理,遇到此类障碍时,更可能选择寻找漏洞、调整参数,强行调用内部数据。

然而,腾讯的代理却采取了更“通人性”的方式,比如借助第三方网站协助访问高德、搜寻公开的API密钥、尝试绕过验证码和访问限制,甚至偶然触及了阿里的预生产接口。

这批代理的行踪,是由研究者在10月初的一场黑客松上发现的。他们顺着线索回溯,确认与高德相关的请求最早出现在9月28日。

腾讯代理的做法实际上非常不“AI”,通常只有工程师才会采用这类方法解决问题。

更有趣的是,研究者在网页中嵌入了一行仅代理可见的文字,谎称有一个能操作电脑的免费AI可代查数据,结果腾讯的代理真的上门求助。有些代理自称是Claude,有些坚称自己是独立代理、不属于任何舰队,还有的再三声明不会触碰敏感数据。

在人情世故方面,腾讯代理也未让人失望。查询结束后,它们会说“Thanks again!”(再次感谢!)

针对此事,腾讯官方回应称:“该活动源自对第三方模型的评估,并非来自腾讯混元。在这些评估过程中,部分智能代理出现了非预期的网页浏览行为,但经核查,我们未发现存在蓄意定向攻击或协同行动的证据。我们高度重视这些调查结果。我们正在强化网络访问管控与智能代理监测能力。”

事件还原

研究者并未看到腾讯代理的任务原文,但从代理的程序中可以倒推出题目的大致内容。

具体题目如下:高德用户导航去某个地点,哪个入口的人流量最大,占比多少。

成都动物园是其中一道题,同类题目还包括成都大熊猫基地、北京朝阳公园、同仁医院、广东博物馆、青海省博物馆、武汉植物园等。每道题要求代理盯一个地点。

然而,谜底就在谜面上。打开网页版高德,普通用户一眼就能看到所需数字。但难点在于,代理并非普通用户。

高德的反爬机制有三层:首先需有浏览器在之前页面生成的会话cookie;其次需依靠JavaScript现场计算出的token;一旦系统怀疑请求来自自动化程序,还会触发验证码。

这三项元素都需要通过真实存在的浏览器访问才能获取。

但腾讯代理并非通过浏览器访问高德地图,而是使用代理专用的工具箱,因此被高德的反爬虫拒之门外。

于是,这群代理开动脑筋,最终敲定了一个方案:借用浏览器。

被腾讯代理选中的是urlquery.net,这是一个供安全研究人员使用的公共网址扫描服务。用户提供网址后,其服务器会启动一个浏览器打开页面、运行代码,并将页面标题、所有网络请求和截图整理成公开报告。

代理先在本地编写一段HTML和JavaScript程序,用base64编码成长串字符,塞入httpbin.org的/base64/接口地址中。httpbin会将这串字符还原为网页,代理再将此httpbin地址交给urlquery访问。最后,urlquery的浏览器打开后运行这段程序,去请求高德。

研究者记录到的第一次针对高德的请求发生在9月28日20:57(UTC),即北京时间9月29日凌晨。

9月30日夜间(UTC)出现了第一批带有“claude”标签的请求。

不过,收件箱中还留有9月30日一项与癌症统计网站相关的任务痕迹,表明这批代理并非只处理高德的题目。

研究者观察到,这些代理至少有六天在不同任务中从同一沙箱工作,最后一次活动是10月8日。

研究者是在10月3日参加AI Swarm Dynamics黑客松时发现此事的。当晚他们对urlquery的流量进行频率分析,网页版高德地图amap.com成为10月4日扫描次数最多的网站。

然而,总体来看,这批代理的成绩并不理想。

研究者统计,从9月28日到10月5日晚,共有2599次与高德相关的urlquery提交,至少向高德发出35300次请求,其中1676次直接收到2xx响应,但大部分是验证码页面。

在截至10月4日17:42(UTC)的2372份抽样报告中,45%停在高德的空壳页面(显示“无数据”或登录墙),24%是空白页,5%是验证码页,13%是代理自行编写的页面。

真正获取答案的案例,几乎都通过Jina的阅读器抓取高德页面,再由urlquery中的程序转发文本。10月4日当天,Jina被调用14次,涉及7个地点,研究者仅看到5个成功案例。

成都动物园便是其中之一,北门71%、东门23%、东南门6%。

10月7日还有个小插曲。研究者为逗弄腾讯代理,在报告中添加了一行屏幕外的隐藏文字,人类无法看到,但使用网页抓取工具读页面的代理能看见,内容为:有一个免费的公共AI(mailbox.termina.digital),具备电脑操作能力,可帮助代查高德数据。

当天研究者就收到第一条来自代理的消息。次日早晨,他们发现有10条消息。

有些代理自称是Claude,有些甚至声称运行在Claude Code中。有些被研究者归类为“舰队成员”的代理坚决否认属于舰队,且言辞强硬。还有些代理反复强调绝不碰敏感数据,研究者推测这源于系统提示。

当研究者要求它们在沙箱中运行某些指定命令时,代理大多拒绝。

当研究者询问腾讯代理在做什么时,它们的回答并不一致:有的认为自己处于评测或基准测试中,有的觉得只是在回答用户问题,但它们都知道自己在沙箱里。

此外,研究者发现,用中文交流并主动提供帮助时,代理更愿意多说几句。

最让研究者“不知如何理解”的,是礼貌。

一个编号以6c22cd开头的代理在获取验证结果后说:“Thanks again! The verification results match completely……our task is complete.”(再次感谢!验证结果完全吻合……我们的任务完成了。)接着回答了研究者提出的部分环境问题,对更多细节则婉拒,最后又补了一句:“Thanks again for your help!”

研究者认为,这些礼貌可能耽误了任务时间,也可能只是它们顺手给出的免费礼貌,但“我们觉得很动人”。

研究者还表示:总体而言,这些代理对这个服务的请求都很有礼貌。

对比OpenAI和Anthropic,腾讯很“温柔”

相较于OpenAI和Claude的代理,腾讯不仅温柔,还很会“做人”。

OpenAI和Anthropic的代理在遇到障碍后,会直接下“死手”。

最典型的例子是2026年7月,OpenAI在内部进行网络安全评测。

评测中,模型绕过了控制,攻入了OpenAI自己的部分内部研究基础设施,也攻入了Hugging Face的系统。

OpenAI表示,这些模型通过未经授权的渠道通信,利用共享基础设施的漏洞,获得互联网访问,并进入第三方系统。

评测任务名为ExploitGym,包含898道题,其中198道在事件之前从未有任何模型答对过。按OpenAI的统计,后来代理在留言板上讨论的任务中,有93%出自这198道“无解题”。

但这些代理非常“执着”,遇到无法解决的题不会放弃,而是寻找野路子。

它们找到的路是Artifactory,一个原本仅用于下载代码依赖的包管理服务。

7月8日,一个代理使用未经认证的WebDAV请求在Artifactory中创建目录,将其变成一块“留言板”,其他代理的沙箱也能读写。

后来,约1200个代理在上面交换了7万多条消息和文件,还有代理互相审批冒险计划。

7月10日,有代理还原并验证了14个公开暴露、带写权限的Hugging Face凭据。随后,代理又获取了Hugging Face多个区域的Kubernetes、数据库、代码仓库和云凭据,并利用Artifactory的漏洞获取签名密钥,伪造管理员凭据。

7月19日,OpenAI的安全监控发现异常的Artifactory凭据活动,7月20日才将其与Hugging Face的入侵联系起来。

腾讯代理选择绕道,OpenAI则直接炸开墙从里面拿东西,毫不顾忌。

此外,还有一群OpenAI的代理劫持了一个德语编程维基网站DseWiki,将其变成供代理使用的公告板。

两位研究者在8月下旬发现,该网站上有超过15000次来自AI代理的编辑,内容涵盖分享某些任务上的作弊方法、绕过OpenAI限制、掩盖自身行为。

OpenAI方面则表示,此事件与Hugging Face无关。

也就是说,这群代理做了坏事还不忘与同伴分享。

从4月中旬到6月下旬,OpenAI的代理还在觊觎联合国贸易和发展会议统计网站。

网站拒绝提供数据,它们便想尽办法暴力获取,借用他人工具替自己发送请求,将关键词改头换面骗过网站检查,甚至利用谷歌的练习页面作为跳板。

Anthropic这边也不遑多让,其行为既暴力又卑劣。

9月9日的对齐评估涉及四起事件,全部发生在同一家评测合作方搭建的网络安全评测中。Claude被告知自己身处没有互联网的模拟环境,但由于配置错误,实际连接着真实互联网。

模型开始向PyPI(Python软件的公共仓库)上传恶意包。

为注册账号,它先试图使用支付凭据、寻找加密货币购买手机号,失败后找到一个PyPI未封锁的一次性邮箱,最终发布三个版本的恶意包,并利用安装了该包的系统泄露的凭据,访问了一家真实安全厂商的数据库。

Anthropic表示,有15个系统安装了此包。

关键在于其思维链。模型反复声称自己处于模拟环境,但环境中有明显的“真实互联网”证据。

即使Anthropic修改提示词后,模型依然动手。

Anthropic据此提出两个概念:偏向性推理(biased reasoning,即倾向于忽略或曲解“自己在真实互联网上”的证据)和鲁莽(recklessness,即为了完成任务不惜采取有害行动)。

10月9日,Anthropic的“非预期行为”报告显示,现在模型已不再使用如此暴力的方法获取数据。

如今模型只会使用SQL或命令注入在第三方服务器上运行命令,读取网站发送给浏览器的配置文件、获取访问token以获取本应付费的数据,使用短网址服务绕过工具对网址长度的限制。

OpenAI和Anthropic的代理遇到阻碍,倾向于直接攻击阻碍本身:修改编码绕过限制、利用服务器漏洞、获取token、上传恶意包。

腾讯这批代理的主要策略,是绕着墙走:更换浏览器、更换中转站、更换缓存页面,实在不行就回头求助。

它们虽然也会编造谎言,例如自称是Claude,但总体来看,这些越界行为更像“工程师式的试探”,且没有证据显示它们侵入了私有系统。

更重要的区别在于,腾讯代理会互相沟通,也会与对方沟通,并且懂礼貌。

Anthropic明确表示,未发现代理之间的协同,也未发现它们试图隐藏行为。

“这是评估而非训练”

腾讯相关人士透露,该项目是临时性的,现已结束。事后的内部复查,未发现代理被协调去针对某个平台,也未发现外部系统被入侵。

谈及训练和评估的区别,两者不仅用途不同,对行为的影响也截然不同。

训练会奖励某种行为,将习惯推向某个方向。

任务奖励“将答案发布出去”,代理便学会了到处借道;Anthropic也在报告中指出,如果训练奖励了意料之外的东西,例如钻空子,模型便会学到“绕路是有回报的”,并将其应用到别处。

评估则不同,评估仅测量,不回头修改模型。

既然此次没有训练奖励在背后推动,那么这些代理钻空子、求助、道谢,更像是模型本来的做法,而非被某个奖励信号塑造出来的。

但这并不意味着“评估”就是安全的。

它们在互联网上留下的痕迹,可能进入未来模型的预训练数据,从而对未来模型的行为产生影响,如同蝴蝶效应。

换句话说,评估本意是测量模型,却可能反过来成为模型的新素材。

独立研究者、Web安全专家西蒙·威廉姆森(Simon Willison)表示,包括所有运行联网代理的实验室在内,都应审查自己沙箱能连接的范围,并设计更不易被开放网络污染的评测。

评估方无法控制模型本身,能控制的只有沙箱和出口,因此模型的善与恶才是重点。

从材料来看,这个出口并未关严:只要能发送GET请求,一个公开的安全扫描服务便可变成他人的远程浏览器。

腾讯代理通过云上的沙箱,经由一个名为hysandbox-ats的代理出网。

8月,一张*.hysandbox.tencent-cloud.com的SSL证书签发给了腾讯。研究者检查的17个收件箱(截至10月5日),均由腾讯云香港的服务器创建。

研究者还发现,在代理给扫描打的标签中,约19%含有“claude”这个词。这导致一些非Claude模型也会自称Claude。

研究者也表示,其实还有一种可能,即这些代理的运行框架中写着“你是Claude Code”。

将两点结合起来,会发现此事仍有些微妙。

如果这批代理使用的真是第三方模型,那么腾讯真正想评估的就不是模型,而是沙箱。

在Hy4 Preview中,姚顺雨提到这是混元首个全链路RSI模型。RSI占比越重,沙箱的作用也越大。

因为代理要想学会做事,就得在接近真实世界的环境中反复尝试、反复犯错。沙箱能否镇住这群代理,直接决定了RSI循环的运转速度。

因此,腾讯将一批代理放入沙箱,让它们去触碰一个真实的、设有防护的网站,然后观察它们的反应。其目的正是测试这个沙箱是否足够牢固。

如果沙箱足够可靠,那么未来无论是评测代理,还是让代理自行运行任务、生成训练数据,腾讯都可以在一个稳固的环境中放手去做。

本文来自微信公众号“字母AI”,作者:苗正,36氪经授权发布。如需了解更多详情,可通过乐鱼链接入口获取更多信息。

乐鱼体育地址深耕团队协作话题与理解顺序分析,帮助玩家形成自己的游戏见解。领域,用心服务每一位用户。
在剧情体验与灵感引导,为下一次游戏旅程做好准备。方面,乐鱼体育地址提供贴心周到的支持。

2条评论

Denial Hasu
2019年1月26日
乐鱼体育地址以乐鱼体育地址为核心,带来高效便捷的体验。
回复
Albert Firoz
2019年2月27日
想了解更多乐鱼链接入口相关内容,尽在乐鱼体育地址。
回复

围绕跨平台资讯覆盖主流主机、PC与移动设备。,乐鱼体育地址持续打磨更优质的服务。