随着人工智能大模型的广泛应用，其模型本身的安全防护已成为决定技术发展和应用推广的关键因素，安全防护能力不足的大模型应用可能会带来灾难性损失。核电领域大模型应用中特别强调需要解决大模型攻击和幻觉问题，因此，构建有效的大模型攻击检测与安全防护体系，对于保障关键基础设施安全运行、防范重大安全风险具有重要战略价值。本案例基于内生行为画像的大模型攻击检测方法研究和大模型自身安全能力提升技术研究，初步形成了较为完整的技术路线和研究框架，为集团大模型的安全、可控、合规应用提供了理论支撑与技术储备。

• 大模型攻击检测：基于大模型内生行为的攻击检测方法研究，识别大模型和内容等涉及的风险和行为。

• 大模型内生安全能力提升：大模型攻击防护技术和内容安全防护技术的研究，大模型综合防护能力提升

（1）基于内生行为画像的大模型攻击检测方法研究

• 基于数据和模型智能认知的大模型内生行为画像

进行大模型内生行为画像有助于揭示模型内部推理逻辑，进而帮助识别模型面对攻击时其内部存在的异常或风险行为，从而提升模型的安全性。现有工作主要针对特定攻击进行分析和特征建模，缺乏对大模型及其数据输入的整体认知和内生关联描述。内生行为画像能够对大模型内部的逻辑推理和信息传播过程进行描述，为大模型攻击行为检测提供有力支撑。本项研究拟构建一种能有效反映大模型中攻击特点的内生行为画像方法，通过对数据和模型分别进行有效的特征表示，并提取这些特征之间的内在逻辑关联，进而获得有助于揭示攻击行为和正常行为差异的大模型内生行为画像。

• 基于内生行为画像的大模型攻击检测方法研究

本项研究拟针对大模型安全中受到广泛关注的对抗样本攻击、后门攻击等，通过研究相应的攻击检测方法，帮助提高大模型应用输出结果的准确性和可靠性。现有检测方法大多仅针对模型输入输出进行异常分析，忽略了大模型的内部处理过程与内生逻辑，导致较高的误报率和有限的检测能力。与现有工作不同，拟构建基于大模型内生行为画像的攻击检测方法可从不同层级对模型推理过程关键信息进行表示，为大模型攻击的有效检测提供前提和基础。本项研究拟从对抗样本攻击检测和后门攻击检测两方面展开研究，通过深度挖掘并量化表征攻击行为在大模型内生行为画像相关表示中存在的潜在推理偏差，提升大模型应用对常见攻击行为的检测能力。

• 面向大模型内容安全的攻击检测方法研究

本项研究拟针对企业大模应用时可能面临的提示词攻击及其导致的敏感信息泄露、大模型幻觉输出、幻觉攻击导致的虚假内容输出等内容安全问题，通过研究相应的攻击与不当输出内容检测方法，帮助提升大模型应用的安全可控性与合规可靠性。现有方法通常利用规则过滤、静态黑名单或后置审查等手段实现内容风险规避，但由于缺乏对攻击意图的深层理解与对生成内容的事实一致性验证，导致在应对复杂提示词攻击和多源幻觉输出时存在检测能力低、泛化能力弱等问题。本项研究拟基于大模型内生行为画像，从提示词攻击与敏感信息泄露检测、幻觉检测两方面展开研究，通过突破相应关键技术问题，实现对大模型应用内容所涉及安全风险的主动识别与有效防控。

（2）大模型自身安全能力提升技术研究

• 面向大模型攻击行为的安全能力提升技术研究

本项研究拟针对大模型中的对抗样本攻击、后门攻击等攻击行为，通过研究相应的攻击防御和安全能力提升技术，提高大模型应用的鲁棒性和输出结果的可靠性。传统防御技术一般通过对输入数据进行筛选过滤或在模型训练过程中引入显式约束以防御攻击，但由于大模型参数空间庞大且隐空间结构复杂，上述方法在实际中往往难以实施。本项研究拟基于模型鲁棒性训练增强的对抗样本攻击防御、基于模型隐空间映射关系分析的后门攻击防御两方面展开研究，通过突破相应关键技术，提升大模型应用对常见攻击行为的防御能力。

• 面向大模型内容安全的访问阻断与安全护栏构建技术研究

本项研究针对大模型应用中面临的内容安全风险，通过对大模型应用过程中所涉及的人机交互过程和内容输出进行分析，构建面向大模型内容安全的安全防护技术，增强对敏感信息泄漏和不当输出内容的防御，提高大模型输出内容的可控性和可信度。当前研究多侧重于对单一输入或孤立输出进行安全性分析，或针对特定类型的幻觉进行事后检测，缺乏对潜在攻击意图的系统性识别和对输出内容的及时验证与主动拦护机制。本项研究拟从如下两方面开展面向大模型内容安全的防护技术研究：首先拟从人机交互的动态演进过程着手，研究面向大模型内容安全的访问阻断技术；然后拟构建多层次的大模型安全护栏，以实现对大模型输出内容的安全防护。

2.创新亮点

案例技术创新点主要体现在以下几个方面：

（1）提出基于内生知识增强的大模型攻击检测方法，充分利用所构建内生行为画像对大模型的整体认知和关联描述，有效提升针对大模型应用及其内容安全的攻击检测能力。

（2）通过关键信息映射一致性表示和内容规则双驱动的一致性评估，提出基于领域知识约束的大模型自身安全能力提升解决方案，提高大模型应用的鲁棒性及其输出内容的可控性与可信度。

（3）针对集团公司内部大模型应用行业先验独特、领域知识密集的特点，构建面向能源行业的大模型攻击检测与安全防护平台，实现对大模型应用所涉及安全风险的主动识别和有效防控。

本项目围绕大模型攻击检测方法展开深入研究，初步构建了基于内生行为画像的攻击检测体系。通过分析大模型在输入、推理、输出过程中的关键特征，提取模型内部的逻辑关联与行为模式，形成了对大模型“内生行为”的全面认知框架。在此基础上，项目团队提出了针对对抗样本攻击、后门攻击、提示词攻击、幻觉攻击等多种攻击类型的检测模型设计方案，旨在实现对攻击行为的精准识别与预警。特别是在大模型内容安全方面，项目通过引入领域知识与事实一致性验证机制，探索了识别大模型在面对恶意提示词攻击时可能产生的幻觉输出与虚假信息的方法路径，为提升大模型输出内容的可信度与合规性提供了理论支撑。

2. 提升大模型自身安全能力，增强系统鲁棒性与抗攻击能力

项目在提升大模型自身安全能力方面也进行了深入探索。通过研究基于隐空间映射一致性的防御机制，项目团队提出了针对对抗样本攻击的鲁棒性增强模型设计方案，并通过在模型训练过程中引入安全约束，探索提升大模型对输入扰动容忍度的方法路径。在后门攻击防御方面，项目提出了一种基于模型隐空间结构分析的检测与防御方法思路，旨在有效识别并阻断隐藏在模型内部的恶意触发机制，从而防止模型在特定条件下输出错误或有害内容。

此外，项目还围绕大模型内容安全，初步设计了多层次的访问阻断与安全护栏体系。通过对人机交互过程的动态建模，项目探索了对用户输入意图的智能识别与风险评估机制，并结合内容生成过程中的事实一致性验证机制，提出了内容输出前的多层审查与拦截机制的设计方案。该机制拟在集团多个大模型应用系统中部署，以提升大模型在敏感信息泄露、不当内容输出等方面的安全防护能力。

3. 构建大模型安全防护平台，实现安全风险的主动识别与防控

项目在理论研究与技术突破的基础上，结合中广核集团在能源行业的业务特点与数据资源，初步设计了面向能源行业的大模型攻击检测与安全防护平台。该平台拟集成攻击检测、安全防护、风险评估、日志审计等多项功能，实现对大模型应用全过程的安全监控与风险防控。平台设计支持对大模型输入、推理、输出的全流程追踪与分析，拟具备实时识别潜在攻击行为的能力，并提供可视化界面供安全人员进行风险处置与策略调整。

在平台部署规划中，项目团队初步设想在集团多个重点单位落地应用。例如，在核电板块，平台拟对大模型在反应堆运行状态分析、故障预警等场景中的应用进行安全防护，识别并阻断潜在的攻击行为，保障核安全系统的稳定运行。在新能源板块，平台拟对大模型在风电场运维、光伏电站预测等场景中的应用进行安全监控，提升大模型在复杂环境下的鲁棒性与可靠性。

4. 推动大模型安全标准建设，助力行业高质量发展

项目在实施过程中，不仅注重技术研究与系统建设，还初步探索了大模型安全标准的制定与推广路径。项目团队结合研究成果，拟参与编制集团内部的大模型安全应用规范，明确大模型在数据输入、模型训练、内容输出等关键环节的安全控制要求。同时，项目成果也为集团在国家能源局、中国核能行业协会等机构主导的行业标准制定中提供了技术思路与参考依据，助力推动大模型安全在能源行业的规范化、标准化发展。

5. 培养专业人才，构建可持续发展的安全能力体系

项目实施过程中，中广核集团注重人才培养与团队建设。通过项目研究，集团网络与数据安全部门初步形成了具备大模型安全研究与应用能力的技术骨干队伍，构建了涵盖攻击检测、防御机制、内容安全、平台建设等多个方向的复合型技术团队。团队成员在项目实施过程中积累了丰富的研究经验，为集团未来在大模型安全领域的持续创新与应用拓展奠定了基础。

随着人工智能特别是大模型技术的广泛应用，其在提升企业智能化水平、优化业务流程、增强决策能力等方面发挥了重要作用。然而，大模型在带来巨大价值的同时，也引入了前所未有的安全风险。中广核集团作为我国重要的能源央企，近年来在核电、新能源、电力调度、智能运维等多个业务领域广泛部署了大模型技术，以提升业务效率和智能化水平。与此同时，集团高度重视大模型应用过程中的安全问题，围绕“大模型攻击检测与自身安全能力提升”这一核心议题，开展了系统性、前瞻性的科研项目研究，初步形成了较为完整的技术路线和研究框架，为集团大模型的安全、可控、合规应用提供了理论支撑与技术储备。

完成单位：中广核数字科技有限公司上海分公司

主要完成人：陈兴、朱旭东、陈哲、巫展豪