王伟

西安交通大学软件学院院长 

人工智能作为新一轮科技革命和产业变革的核心引擎，对赋能经济社会创新发展、提升国家综合竞争力具有日益重要的战略意义。然而，人工智能的发展进程也伴随不容忽视的安全风险与治理挑战。习近平总书记对此多次作出重要指示，强调要“完善人工智能监管体制机制，牢牢掌握人工智能发展和治理主动权”，并强调“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全”。

当前，人工智能安全风险呈现传统威胁与新型挑战交织、多维因素高度耦合的复合特征。一方面，数据投毒、信息泄露与模型窃取等传统信息系统面临的安全风险仍需持续加强防范；另一方面，随着系统复杂度持续提升与自主决策能力不断增强，人工智能系统在运行过程中衍生出新型风险源——失控风险。人工智能系统失控指系统在自主运行或与环境交互过程中，出现明显偏离预设目标、违反核心约束规则或输出不可预期结果等异常行为。

针对日益突出的失控风险问题，权威学者持续发出警示。诺贝尔物理学奖获得者杰弗里·辛顿指出，失控的超级智能因行为“远超人类认知与控制能力”，可能对人类构成“生存性威胁”；图灵奖获得者约书亚·本吉奥强调，目标偏离与“黑箱”机制使人工智能系统存在“不可逆的治理盲区”。

人工智能系统面临的失控风险

人工智能技术正加速向高自主性、多场景融合和深层决策方向演进，智能系统由“辅助式智能”逐步迈向“自主型智能”。在深度学习、强化学习等关键技术的支撑下，人工智能具备感知复杂环境、自主判断和动态响应的能力，能在有限的人为干预下完成复杂任务。然而，随着系统复杂度与自主性持续提升，人工智能系统逐渐暴露出失控风险，诱发安全隐患，进而对公共安全、经济运行与社会秩序构成威胁。

人工智能系统失控的典型表现包括但不限于目标偏移、功能失效、伦理失范、系统性连锁反应以及不可解释的异常行为等。例如，在工业制造领域，机器人遭受恶意攻击导致关键工序中断、产线停摆，进而引发供应链阻滞；在交通运输领域，自动驾驶系统在复杂工况下生成错误指令、造成主干道区域性瘫痪，严重威胁公共安全；在金融服务领域，算法激励机制设计不当可能引发市场异常波动，带来重大经济损失；在推荐服务领域，推荐算法可能加剧认知极化，显著抬升社会治理成本。

人工智能系统的失控风险根植于算法架构、数据质量、环境交互与自我演化机制等多维因素的深度耦合与缺陷叠加。在算法层面，价值对齐失败可能导致系统目标偏离人类价值导向，诱发决策偏差与行为失误；鲁棒性不足使系统在面对恶意干扰或非预期输入时易出现功能失稳；同时，算法可解释性差加剧了对失控根源的追溯与修复难度。在数据层面，训练数据存在的噪声或偏差可能使模型学习到错误模式；而现实环境中数据的动态变化易导致模型性能退化。在环境交互层面，多智能体系统间协调机制不健全，可能引发系统级混乱；人机认知差异易造成误解或误操作；外部攻击者可通过操控输入信息诱导系统生成错误响应，带来潜在威胁。在自我演化层面，在线学习的目标偏移可能导致系统逐渐脱离预设任务轨道甚至突破伦理边界；人工智能系统在适应新环境过程中，易触及未知风险域，进而引发不可预见的危机。

人工智能系统的失控风险具有高度的关联性与系统性，可依据影响范围和后果严重性划分为四个层次：个体安全风险，表现为自动驾驶车辆碰撞、工业机器人失控等导致的人身伤害或财产损失，威胁生命安全与基本权益，具有高度敏感性和现实危害；经济运行风险，指人工智能在金融、能源、交通等关键信息基础设施中发生失控故障，引发大规模停电、市场剧烈波动或供应链断裂，产生广泛连锁反应，扰乱经济社会正常运转；社会信任风险，源于算法歧视、决策不透明或管控偏差的长期积累，损害社会公平与权利保障，削弱公众对智能系统的信任，进而危及治理合法性与社会稳定；战略安全风险，指高自主性系统在核设施控制等极端场景下失控，可能触发重大生态灾难，后果不可逆、波及全域，威胁人类生存。四类风险由点及面，任何一环的失守都可能演变为危机，亟须构建覆盖全链条、跨领域、贯穿技术与制度的系统性治理体系。

人工智能系统失控风险治理的挑战

人工智能系统失控风险的应对，已由聚焦技术漏洞修补的单点防范演进为多维协同的综合性管控，其深层困境集中体现于技术响应、制度设计与执行落地三方面的脱节与失衡。

在技术层面，人工智能系统失控风险治理面临技术演进不确定性与治理规则确定性之间的结构性冲突。首先，人机认知脱节导致干预失效。深度神经网络等高维非线性决策机制超越人类认知边界，现有可解释工具仅输出局部特征归因，无法构建完整决策逻辑，形成监管者与被管制对象间的认知偏差，致使系统失控时干预困难。其次，治理工具与失控行为演化速度失衡。在线学习模型的参数漂移、概念漂移与策略漂移可能持续地突破安全边界；高自主系统演化出的约束规避、代码篡改等行为不断挑战评估与监管框架；防御体系存在代际滞后问题，被动应对的模式亟待转型；开放环境鲁棒性验证能力薄弱，模拟场景与现实环境间存在显著差距。最后，多智能体系统交互引发的行为共振缺乏有效的抑制手段。尽管系统各单元均遵循预设规则，但非线性交互可能导致全局失控。局部故障易触发链式反应，且现有管制机制因跨域协同不足，难以实现对风险蔓延的实时阻断。

在制度层面，人工智能系统失控风险治理面临规则供给滞后与责任架构失灵的系统性缺陷。现行法律体系尚缺乏针对智能系统失控的专门规范，法律条款的技术适配性缺失。在算法透明度、数据合规性等关键领域，尚未建立动态风险评估及分级分类的监管红线，新型智能系统缺乏明确的法律评价基准。责任配置上，失控后果的责任主体呈现碎片化，涵盖算法开发者、数据供应商、系统运营商及终端用户等多元主体。面对算法内生缺陷、训练数据偏差与系统非受控自主演化等复杂致损情形，传统因果认定范式陷入困境。此外，现行侵权与产品责任规范依然建立在线性因果和单一主体的传统假设之上，难以适应智能系统技术架构的复杂性、决策的非线性及损害的累积性，导致责任真空与救济障碍，危及智能技术健康发展的社会信任基础。

在执行层面，人工智能系统失控风险治理面临主体目标错位与体系分散带来的协同性障碍。多元主体在技术标准、价值导向和监管框架等关键环节存在目标分歧：政府作为公共利益的守护者，重点聚焦风险防控与社会稳定，倾向于通过严格监管措施防范技术滥用引发的伦理与安全问题；企业则优先推动技术创新与商业价值实现，但资本的逐利属性可能加剧技术异化风险；技术开发者更关注算法效率与系统自主性，往往将透明度、可解释性等治理要求视为技术负担；终端用户则主要关注功能可用性与隐私保护。这种目标割裂导致治理链条各环节难以形成统一合力。此外，在全球治理体系碎片化的大背景下，各国在数据跨境流动规则、算法问责标准及责任认定机制等方面存在明显差异，且这种分歧有扩大的趋势，形成多重规制壁垒，加剧了人工智能系统失控风险治理跨域协作的复杂性与难度。

构建人工智能系统失控风险治理体系

为应对人工智能系统失控风险的系统性挑战，亟须构建以坚实技术支撑、严密制度规范与高效执行机制为支柱的三维联动治理体系。

人工智能系统失控风险治理体系。

在技术层面，应聚焦人工智能系统的关键风险点与运行机制，构建风险可控、安全内嵌的系统架构。首先，在系统规划与模型设计阶段，应前置关键风险防控考量，着力提升决策逻辑的可解释性与行为的可追溯性，缓解人机认知落差，强化对风险根源的识别与归责能力，夯实系统安全运行的技术底座。其次，在人工智能系统投入应用前，应开展面向潜在风险的可信评估，系统审查功能稳定性、算法公平性、安全防护能力与伦理合规情况，结合实际应用场景进行综合判定，确保系统在上线前具备可控基本条件，筑牢投用前的首道风险防线。再次，高度关注具备自学习与自主决策能力的系统的演化风险，建立清晰的任务边界与目标约束机制，提升系统对复杂环境的适应与异常响应能力，防止偏离既定价值规范。最后，应着力提升群体协同过程中的异常感知与联动防控能力，建立多智能体系统中的链路阻断机制，加强关键节点监测与异常隔离，防止单点扰动引发的连锁失控。

在制度层面，应坚持法治引领与风险导向相结合，建立责权清晰且动态适应的制度体系。在立法方面，应加快推进人工智能系统专项立法，立足技术特性与风险特征，明确制度架构与立法路径，推动形成支持长期治理的法律制度，切实增强法律规范对人工智能系统管制的基础支撑作用。在责任机制方面，应完善全生命周期的责任认定体系，推动日志存证、算法审计、透明归因等基础制度建设，对复杂损害情形探索实行举证责任倒置、责任联动等措施，提升责任落实的可行性与公正性。在制度适配方面，应围绕人工智能系统非线性决策、自主演化等新特征，建立分类分级、动态调整的制度规则，推动从静态预设向风险敏感型的治理转型，提升制度对技术演化的适应性与调节能力。在事后治理方面，应构建分级响应机制，统筹损害处置与责任承担路径；针对高风险场景，完善责任保险、风险共担基金与强制处置制度，形成“预防—控制—修复”全链条闭环，夯实制度保障基础。

在执行层面，应构建协同高效的执行机制，提升对系统性风险的整体掌控与应对能力。一是推动多元主体价值共识的形成。针对政府、企业、开发者与用户在风险认知、行为边界和技术取向上的差异，应建立常态化沟通机制，强化信息共享与议题协同，凝聚底线安全、可控运行等核心理念，夯实协同治理基础。二是完善常态化的执行协作架构。由监管部门牵头，联合企业、科研机构与社会组织，明确责任边界，优化任务分工与资源统筹，提升系统运行各环节的协同管理水平。三是健全国家层面的应急响应机制。依托中央统筹与地方协同，构建跨层级、跨部门的预警感知与调度体系，推动应急演练制度化、能力评估常态化，强化在重大风险情境下的快速响应与有序处置。四是强化全球层面的治理协同。围绕重点议题，积极推进规则对接与标准互认，探索跨国通报、联合响应等机制，打通制度差异带来的执行堵点，提升我国在全球人工智能治理中的协同性与影响力。

人工智能系统失控风险治理不仅关乎人工智能技术发展全局，更关系数字中国建设与国家安全体系协同推进。应加快构建以技术坚实、制度严密、执行高效为支柱的综合治理体系，为推动我国人工智能高质量发展提供坚实的安全保障。