量子位 · AI 产业· 量子位的朋友们·· 16 小时前AI 评分22
中国电信邵广禄:AI安全是AI规模化应用的“加速器”
AI安全是AI规模化应用“加速器”
AI 导读
中国电信集团科技委主任邵广禄提出,AI安全不是发展的“刹车片”而是“加速器”,AI高质量规模化应用等于有效性×可靠性×安全性。文章梳理AI从生成内容走向自主行动、多智能体协作等六个趋势带来的链式、涌现、外溢风险,并提出将AI安全纳入国家AI基础能力建设、推动安全能力内生化、攻关智能体安全关键技术等五方面工作,同时探索商业保险分担剩余风险。
深度导读
文章由中国电信集团科技委主任邵广禄撰写,核心判断是AI安全已从附加条件转变为AI进入生产系统、核心业务和关键行业的基础能力,决定AI能不能用、能用到什么程度、能以多快速度规模化。
文章归纳当前AI能力的六个相互关联变化:从“回答问题”走向自主行动,风险由“说错了”升级为“做错了”;从单模型走向多智能体协作,单点错误沿任务拆解、记忆共享和工具调用演变为系统性链式风险;从辅助工具成为金融、医疗、工业、能源、政务等领域的基础设施;从封闭模型走向开源普及,能力扩散伴随风险扩散;从数字世界走向具身智能、智能汽车和机器人等物理世界;竞争重心从模型训练转向规模化推理和应用。
据此,AI安全从“一个模型是否安全”扩展为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面的复杂系统问题,风险呈现链条化、涌现化、外溢化三个特征,传统“上线前做一次安全检测”已不够,需贯穿数据、开发、部署、运行和退出的全生命周期。
文章提出AI高质量规模化应用=有效性×可靠性×安全性,认为安全与发展是相互促进的飞轮而非跷跷板,安全投入是降低不确定性、扩大AI应用市场的生产性投入。产业层面,模型安全评测、AI运行时安全、供应链安全、数据安全、智能体与非人身份安全、治理合规和第三方保证等赛道正在形成,收入模式从项目制咨询、红队测试扩展到平台订阅、托管安全服务和审计认证。
落地路径包括五方面:把AI安全纳入国家AI基础能力建设;推动安全能力内生化,形成安全原生模型、智能体、平台和应用;攻关身份认证、最小权限控制、工具调用安全、记忆安全、多智能体协同安全、行为审计和自动化红队测试等智能体安全关键技术;把AI安全培育成新的产业增长点;建设高质量安全数据集、漏洞与事件数据库、行业安全基准、红队攻防平台等公共基础设施。
文章还建议引入商业保险,把抽象安全风险转化为可量化、可定价的风险,形成“安全评测—风险分级—保险定价—持续监测—理赔复盘”闭环,并指出AI保险仍面临责任链条不清、历史数据不足、风险动态变化、系统性风险集中和损失因果难以证明等问题。
来源:量子位 · AI 产业 · qbitai.com