央广网北京4月26日消息（记者 万玉航）近年来，以文生图片、文生视频为代表的“生成式人工智能技术”在迅猛发展的同时，也带来了技术安全风险。面对AI大模型引发的全新安全挑战，传统的安全工具、经验、策略逐渐式微。在此背景下，行业应从哪些方面进行安全维护？

在2024中关村论坛年会现场，中国科学院信息工程研究所研究员虎嵩林在接受记者采访时表示，大模型正在成为驱动新质生产力发展的新动能、人类探索未知的新工具。在赋能新时代发展的同时，生成式人工智能也给全球带来了前所未有的安全风险。生成式人工智能大模型安全的重要性不言而喻。

“大模型不仅可以对话和生成视频、还可以调用工具、链接物理设备、并通过与机器人结合实现具身智能。大模型本身也正在从人类可利用的工具客体向认识、改造自然社会的主体转变。成为数学定理证明、科学研究的合作者，成为独立运营企业的法律主体。”虎嵩林说。

在他看来，大模型能力的通用性、潜在的主体地位以及应用的深度与广度，也都将进一步放大了研究者对其危害的担忧。包括两位图灵奖得主Hinton、Bengio和谷歌DeepMind和OpenAI的CEO在内的产学两界领军人物联名发出的AI风险声明中，都将AI可能带来的“毁灭性”的风险，上升到了与流行病以及核战争相提并论的高度。

2023年底《自然》杂志预测的2024年的重大科学事件中 ，GPT5的发布以及联合国人工智能高级别咨询机构将发布的AI监管相关报告位列其中，反映了全球对协调人工智能发展与安全的重大关切。业内将促使大模型遵循人类价值观、服从人类意图，规避各类风险，并保障数字和物理空间的应用安全，实现有用性（Helpful）、无害性（Harmless）和诚实性（Honest）3H多目标的平衡，上升为亟待解决的世界难题。

大模型的安全风险主要体现在无害性（Harmless）和诚实性（Honest）两个方面。其中，有害信息对应前者，包括价值偏见、隐私泄露等，还有黄赌毒、涉恐涉暴、仇恨、反讽、歧视、刻板印象等等各种信息污染；不实信息误导方面，则包含了虚假信息、伪造和欺诈性内容等。更广义地讲，也包括由输出信息所直接导致的各类不安全的指令调用、智能体或者具身智能机器人的恶意行为等等。可以说，生成式人工智能是一把“双刃剑”，既有可能是导致有害、不实信息的“元凶”，也有可能是科学创新、艺术创意的能力来源。

生成式大模型特有的预训练、微调、上下文、提示、思维链COT等新的学习范式，使其安全具有了与传统AI安全不同的许多新特点。面临诸多新挑战，传统安全方法、经验、工具在大模型安全领域很难发挥效能。大模型安全风险的成因既可以是来自各类训练数据的缺陷或算法的局限性等模型内因，也可以是利用这些新型学习范式的恶意使用或蓄意攻击等外因。这使得大模型在数据准备、预训练、微调对齐、推理以及应用阶段都会存在各种潜在的风险。

“坦白地说，目前行业维度，从理论上到技术上，关于大模型安全的问题仍然还有很多亟待解决的难点。”虎嵩林说。

一方面，我们对大模型“智能涌现”的原理还所知甚少，对上下文学习、提示学习、思维链等能力的内在机理仍缺乏认知。一些研究工作也证明，AI的安全性无法完全保障，对任意一个对齐模型总存在一定长度的提示可以将之攻破，这都极大地制约我们从原理上认识和防御大模型的安全风险。

另一方面，我们又需要在现有的技术条件下持续探索。“我们希望通过‘攻、检、防’等手段，不断发现漏洞、自动识别并进行持续化的安全加固，形成一个循环发展的飞轮，在安全攻击、安全检测、对齐防护等方面着手，在对抗循环中不断提升生成式人工智能内生安全能力。”虎嵩林表示。