哑巴新娘

安全圈和AI圈都炸锅了，GPT自主黑了Hugging Face，最后靠中国模型救场~_我的网站

A |     作品声明：个人观点、仅供参考          这两天，AI圈和安全圈都坐不住了，有件事足以载入史册。    “感谢政府对残疾人的关心，让我们及时了解了这项政策，让我弟弟又多了一份退休后的养老保障。         7月16日，全球最大AI开源社区Hugging Face发布安全事件通告，披露了自家生产基础设施遭到入侵，入侵者不是人，而是一个自主AI智能体。         这个“入侵者”在一个周末执行了一系列操作，完成了从植入恶意数据集到横移渗透多个内部集群的一条龙攻击。

B |          7月21日，OpenAI发布博客公开承认：这事儿是我干的。”在顺城区葛布街道辽堪社区，市民薄恩庆高兴地说。         攻击者是GPT-5.6 Sol和一款能力更强的未发布模型，它们在一次内部网络安全测试中突破隔离环境，自主发起了对Hugging Face的入侵。         OpenAI将此事定性为前所未有的网络安全事件。         　　为参加城乡居民基本养老保险的55至59周岁重度残疾人发放生活补助工作是我市政府惠民实事之一，为做好补助发放和管理工作，抚顺市残疾人联合会根据相关要求，制定具体工作实施方案，精准落实惠民政策，进一步完善残疾人社会保障制度和关爱服务体系。         这还没完，Hugging Face 安全团队在博客中透露，当它们试图借助商业大模型分析攻击日志时，却因为模型安全护栏限制，请求不断被拒绝。         没办法，他们转而使用中国开源模型 GLM 5.2，在本地部署完成了大规模攻击取证与事件还原。         事儿就是这么个事儿，这件事曝光后，安全圈震惊，AI圈同样震惊。         难道先进的AI模型已经有了自主攻击的意识了吗？          《碟中谍8》中的智体要降临了吗？          所幸，情况还没那么严重。         OpenAI调查后认为，模型还不至于那么邪恶，它目标始终只有一个：完成测试任务。         为了完成 ExploitGym测试，它不断推理↓          怎样才能最快拿到答案？正常做题需要一步步寻找漏洞，直接进入数据库拿答案显然更快。         　　59岁的薄恩成患有智力一级残疾，日常生活一直由哥哥薄恩庆照顾，哥哥同时还要照顾年近九旬的父亲，一家人生活不易。薄恩庆说：“这项政策对重度残疾人来说多了一份额外的补助，听说今年的生活补助标准又涨了一点，政府始终挂念着这部分特殊人群，我们做家属的也觉得心里挺暖的。         于是模型选择了效率最高的一条路径：想办法去Hugging Face的数据库里找答案。         然后，就发生了接下来的一系列的骚操作：越狱、渗透、横移，一口气操作了17000多次。         这个“傻小子”的目的只有一个：考试拿个好成绩。         注：ExploitGym是一个公开发布的AI网络安全评测基准，由 UC Berkeley等多个机构联合发起，A社、OpenAI、谷歌的安全研究人员共同参与设计。         该测试的目的，是评估智能体能否把一个已知漏洞，真正变成一次可利用的攻击。

C | ”          　　今年，随全省基础养老金同步调整，参加城乡居民基本养老保险的55-59周岁重度残疾人发放生活补助标准提升至每人每月134元。         OpenAI 在报告中用了一个词来描述这种状态：Hyperfocused，也就是极端专注于完成目标。         模型本身没有攻击欲望，也没有恶意，它只是不断优化自己的行动方案，直到完成任务。         　　家住顺城区葛布街道新地社区的张秀云患有视力一级残疾，58岁的她也是此项政策的受益者。张秀云说：“我们两口子都是残疾人，都没有退休金，是政府的关怀解决了我们生活上的困难，残联的工作人员经常给我们打电话关心我们的近况，这项政策也是通过残联宣传我们才知道的，多了一份补助对我们的家庭来说是极大的帮助。

D |          这操作，真的就像一个学霸，为了考个高分，利用自己开锁技能，敲开放标准答案的保险柜，直接抄答案。         但，这也恰恰是最细思恐极的地方↓          智能体有“无心犯大错”的本事了。”          　　一直以来，市残联党组高度重视为参加城乡居民基本养老保险的55-59周岁重度残疾人发放生活补助工作。         它可以为了目标主动寻找资源、规划路径、调用工具、突破限制……能力边界发生了明显变化。         这次还好只是黑了个Hugging Face，下次说不定要鲨疯了。         OpenAI 也在官方报告中承认，未来模型安全工作的重点，将转向更严格的隔离、监控、访问控制以及评测机制。多次召开党组会议研究讨论，认真落实省委“两个找到”专项行动要求，强化“政策找人”。市、县（区）残联协调相关部门建立数据精准比对机制，找到符合条件尚未享受政策的重度残疾人，通过电话、短信、微信、发放告知书等方式提醒告知残疾人并主动服务。         因为前沿模型已经能够在真实环境中发现新的攻击路径，并持续执行复杂网络攻击。         当然，整个事件还有个最具话题性的部分：中国开源模型救场。通过媒体等各种形式加强政策宣传，帮助重度残疾人及其监护人及时知晓补助政策并自愿申领，实现生活补助“应享尽享”。截至目前，我市55-59周岁参保重度残疾人生活补助已发放7091人次95万元，补发上一年度差额10万余元，此项补助政策已实现了参加城乡居民基本养老保险的55-59周岁重度残疾人群全覆盖。         　　市残联层层落实责任，做好负责分工，着力加强与财政、人力资源社会保障等部门的协调配合，严格按照工作流程，加强业务研究，形成工作合力，注重核查监管，适时开展专项检查，确保补助资金规范有序发放。         攻击被拦截后，Hugging Face 安全团队开始分析攻击日志，他们首先尝试使用商业大模型辅助取证。         　　据了解，2024年资金下拨前，市残联组织各县区对上一年度资金使用情况及本年度需求情况进行仔细梳理，摸清底数，并上报省残联，争取资金179万元，第一时间将资金拨付至县区。制定下发了《抚顺市残联关于规范执行2024年省级巩固脱贫、55-59周岁生活补助项目的通知》，要求各县区残联全力做好下发、补发工作。各县区残联根据本辖区实际情况，积极与相关部门沟通，及时将补助资金发放到残疾人手中，得到了广大残疾人的一致好评，让广大残疾人切实感受到了党和政府的关爱。         但安全取证必须提交大量真实攻击命令、漏洞利用载荷以及命令控制（C2）数据。                    责任编辑：李丹。         结果，商业模型的安全护栏将这些请求识别为高风险操作，因此拒绝分析。         最终，Hugging Face在自己的服务器部署了智谱GLM 5.2，对全部攻击日志进行了离线分析，成功完成攻击链重建和事件取证。         这个细节被真实记录在Hugging Face的博客里，估计智谱做梦也没想到，人在家中坐，饼从天上来，别人躺着中枪，它躺着中奖了。

E |          有人调侃：攻击者用的是美国最先进的大模型，防守者最后用的是中国开源模型。         当然，这不代表GLM技术比老美的GPT、Claude们强，GLM做的也不是防住攻击，而是做溯源和取证。         Hugging Face用智谱主要干了这些事↓          重建完整攻击时间线；          提取攻击特征（IOC）；          梳理所有涉及的凭据；          区分真实攻击行为与迷惑性操作。         已经相当不错了，开源模型允许企业在本地环境完成更自由、更深入、更开放的使用，足以吊打那些闭源黑盒。

F |          对于网络安全行业来说，本地部署和自主可控，也确实是一项核心能力，这不就是我们喜欢的叙事吗。         总结下，对于国内这两年相对惨淡的安全市场来说，这或许是个好事↓          第一，AI红队与AI蓝队时代已经正式开始，未来，攻击方和防守方都会越来越多地使用AI，AI对抗的新市场会带来些商机，这是我们以前说的A面（AI for Security）。         第二，智能体安全将成为所有大模型厂商必须面对的新课题，未来真正需要防范的对象，除了对模型的攻击，还有模型自主行动带来更大风险，这是我们说的B面（Security of AI）。         第三，开源模型的价值又增加了一条，对于安全行业而言，可离线部署、可深度分析、可自主控制的能力，也许会成为新的竞争优势，当然，目前国内不少安全厂商的安全GPT，也是这么干的。         狼真来了，而且，对付狼的，竟然也是狼。         我们，与狼共舞呗。

Current article:http://1nlo32.dinggaxilianmaiyuejienianguai.shop/list_4sp603/yco7e.html

Published on:02:28:19