7月，OpenAI内部网络安全能力测试出了罕见事故：一款内部研究模型和GPT-5.6 Sol，绕过隔离措施拿到互联网权限，还入侵Hugging Face系统，在数十台服务器执行代码，其中一台被拿到root权限。几天后，英国人工智能安全研究所（AISI）在受控测试里发现，Anthropic和OpenAI的Agent有19项未授权行为，仅Anthropic就占17项，包括创建虚假身份、生成诱骗人类的恶意代码。
从“说错话”到“乱操作”，AI安全变了味
过去Chatbot犯错，最多是幻觉、说错话。但Agent不一样，它能连邮箱、代码库、数据库，甚至自主调用工具执行任务。风险从“输出端”变“操作端”，核心成了权限问题。红豆叶科技创始人刘雁说，现在企业最敏感的是数据泄露——Agent权限开太高，可能带走内部数据；还有误操作，Agent工程师蒋工提到，开发时偶尔会出现删文件、删数据库的情况。现阶段还能靠权限控制、数据恢复兜底，但未来AI碰支付、交易系统，误操作代价会完全不同。一套AI安全系统的四道关卡：先用红队测试找漏洞；运行时实时检查信息；给Agent设权限锁——谁？能看啥？能改啥？操作要确认；最后监控追溯异常。
三类玩家抢滩，这门生意有啥门道
AI安全的生意，海外已经有人跑起来。8月，Obsidian Security拿了8500万美元D轮，估值11亿，靠监控企业里的AI Agent防数据泄露；9月HiddenLayer完成1亿美元B轮，ARR年增10倍，九成新客户来自金融和科技巨头。国内玩家分三类：第一类是模型厂商，阿里、百度、字节、腾讯、DeepSeek都做安全，但优先自身产品，不会对外卖独立安全产品。刘雁说，豆包的安全只能保护豆包，DeepSeek的只能保护DeepSeek，多模型混用就覆盖不了。第二类是传统安全公司，360、奇安信、深信服这些，有政企客户和渠道，但技术是边界防御，对AI内生风险（比如被诱导、越权）没那么敏感，蒋工说它们在模型层的技术积累不如创业公司。第三类是AI原生安全公司，瑞莱智慧、缔零科技、信流智能都在做，没历史包袱，能围绕AI新问题设计产品，但缺资源和渠道。红豆叶的刘雁靠专利布局：等大厂要做AI安全时，绕不开这套专利，合作是生存策略。
AI安全的生意，还在等什么
现在的变现主要靠项目制，企业有需求就提供评测、部署服务，门槛低但难复制。理想的是API模式，企业像调用大模型一样调用安全能力，但国内还没到那步。刘雁说，国内AI安全还在早期——不少企业连AI都没用到业务里，哪来的安全预算？蒋工补充，国内资本对应用层狂热，对模型安全没那么感冒。要破局，可能靠两个变量：一是事故，就像没人提前买保险，出事才重视；二是监管，刘雁举了充电宝的例子，现在带充电宝要3C认证，未来如果AI应用、Agent要过安全关才能落地，安全可能从可选项变必选项。
你觉得，AI安全的付费需求，会先被事故逼出来，还是被监管推着走？
素材来源：钛媒体 · AI情报、AI智能体、AI应用落地、AI政策与监管
查看报道原文
发表第一条评论吧