人工智能技能在不断发展的同时，其在各行业中的利用也越来越广泛。
但是人工智能技能在为人们的生产生活带来便利的同时，也引入了新的安全风险。
为了应对潜在的安全隐患，做到事前预防，保障人工智能的安全，提出了一种基于信息熵和马尔可夫链的人工智能全生命周期安全风险评估方法。
一方面，该方法能够在对人工智能进行整体性的安全风险等级评估的同时，保留对各种安全风险的评估；另一方面，基于马尔可夫链形成各个风险类在稳定状态下的转移矩阵和概率分布，供应了一种面向全局的人工智能安全风险的展现方法。

内容目录：

1　安全风险评估方法研究

2 　人工智能全生命周期安全风险评估指标体系构建

2.1　人工智能资产划分

2.2　评估指标体系构建过程

3　人工智能全生命周期安全风险评估

3.1　从属度矩阵构建

3.2　确定风险熵

3.3　确定权重向量

3.4　量化各种安全风险

3.5　量化评估人工智能系统整体安全风险

4　结　语

随着人工智能技能的不断发展，人工智能的运用也越来越广泛，在人脸识别、语音识别、自动驾驶、视频监控、人机对弈、恶意软件剖析等领域都取得了令人满意的成果 。
如今，人工智能技能的运用正在改变人类社会的发展轨迹，为人们的生产生活带来了便利，但是也催生出了针对人工智能的攻击手段，暴露出其背后的安全风险，人工智能安全风险可能会导致人类社会的重大生命和财产丢失 。
因此，以人工智能本身为视角进行信息安全评估，做到全生命周期、全流转过程“可管可控”，从而进一步对人工智能在数据流动、算法框架、模型演习和支配运用等阶段的全生命周期进行安全风险评估十分必要。

保障人工智能安全性的主要手段之一便是进行安全风险评估。
针对人工智能全生命周期进行安全风险评估 ，可以创造内部职员、利用数据、演习平台、支配设备和管理体系等方面已存在或是潜在的风险隐患。
评估后将存在的风险量化为详细的风险值，利用户更加直不雅观地理解系统中存在的风险，并根据风险等级的大小采纳不同优先级的安全方法来预防、掌握，以降落安全事宜发生的可能性。

1

安全风险评估方法研究

目前，针对人工智能技能安全风险评估的干系研究较少，但关于系统安全 、网络安全 、信息安全、云打算安全 、数据安全 等领域的安全风险评估已有大量研究成果并运用于各行各业，紧张有定性风险评估、定量风险评估和综合安全风险评估 3 类方法。

（1）定性的风险评估方法：紧张依赖评估者的履历、知识、技能等，该方法评估结果比较全面。
范例的定性剖析方法怀孕分剖析法、逻辑剖析法、历史比较法等。
但其主不雅观性太强，哀求评估者本身的本色很高。

（2）定量的风险评估方法：是指利用数量指标评估网信系统的安全风险的方法。
主流的定量评估方法有：基于聚类或决策树等机器学习算法的风险剖析法、基于图的风险剖析法及风险因子剖析法等。
定量的风险评估方法的评估结果更直不雅观，但存在繁芜过程简化后，安全风险成分失落真，导致评估结果被曲解的缺陷。

（3）定性与定量相结合的综合评估方法：领悟了定性、定量的风险评估方法的优点，现今广泛地运用于网信系统的安全风险评估中。
但该方法无法定量评价全体系统网信系统的安全风险等级，即无法得出系统整体安全风险状况的级别。

本文首先构建人工智能在准备阶段、演习阶段和支配运用阶段及掩护阶段的资产，从演习数据、智能框架、算法模型、管理体系等方面入手，梳理与人工智能干系的安全风险成分，布局资产影响、威胁频度和薄弱性程度 3 个维度的评价表，以及对应这 3 个维度的人工智能安全风险从属度等级表，形成具有普适性的人工智能全生命周期的指标体系。
其次，针对人工智能安全风险评估技能受主不雅观成分影响较大的问题，本文利用马尔可夫链和信息熵的特点，基于布局的风险熵和权重量化各种安全风险，弱化领域专家主不雅观评价在整体评估中的浸染，同时担保了评估的有效性和科学性。

２

人工智能全生命周期安全风险评估指标体系构建

人工智能安全风险是指安全威胁利用人工智能资产的薄弱性，造成人工智能安全事宜或造成干系影响的可能性等。
而人工智能安全风险评估则是依照评估指标对拥有的资产进行安全风险的评估。
因此，安全风险评估指标体系构建紧张有人工智能资产划分和人工智能安全风险评估指标体系构建 2 个阶段。

2.1　人工智能资产划分

在遵照可靠性、可阐明性、鲁棒性和隐私保护等原则的条件下，针对人工智能资产进行安全风险评估 。
本文梳理的人工智能资产如图 1 所示。

图 1 人工智能资产

人工智能资产按照人工智能运用过程分为采集、演习和运用阶段。
数据采集器是指数据采集的设备和方法；数据集则包含数据的清理、存储、传输、利用和掩护等方面的数据 ；软件框架紧张指开源的 pytorch、tensorflow 等演习框架，以及开源算法，是构建针对特定需求算法模型的必要开拓组件；算法模型则是在加入演习数据演习后得到的特定算法或者智能模型；行业运用则是将智能模型详细支配在某个行业进行运用；根本举动步伐是指运行演习后的智能模型所承载的根本举动步伐环境，如电力、散热等。

2.2　评估指标体系构建过程

基于人工智能资产构建安全风险指标体系，构建过程如图 2 所示，分为 5 个阶段使得指标尽可能范例、全面、科学 。

图 2 人工智能全生命周期安全风险评估指标体系构建流程

（1）通过查阅梳理报告、文献、书本、标准、规程等资料，将得到的信息作为根本理论依据。

（2）结合根本理论依据识别、梳理出各阶段影响人工智能安全的紧张威胁。

（3）查阅企业资料进行运用行业的调研 ，进一步探究人工智能在该行业的全生命周期运用流程。

（4）识别初步的风险项，选取安全风险评估的关键指标，经由增、删调度进一步确立，若存在不合或异议则回到第一步，重新实行该过程。

（5）终极确定人工智能全生命周期安全风险评估指标体系。

通过上述指标体系的构建过程，形成了从数据、框架、算法模型、管理和根本举动步伐 5 个层面构建的具有普适性的人工智能全生命周期安全风险评估指标体系，评估成分如图 3 所示。

图 3 安全风险评估成分

梳理后的人工智能安全风险评估成分，其相应的评估指标体系如表 1 所示。

表 1  安全风险评估指标体系

续表

３

人工智能全生命周期安全风险评估

建立评估指标体系后，对人工智能全生命周期安全风险进行评估，评估过程如图 4 所示。

图 4 安全风险评估流程

安全风险评估的过程紧张分为构建从属度、确定风险熵、确定权重向量、各种安全风险量化和整体安全风险评估 5 个步骤。

3.1　从属度矩阵构建

结合人工智能的特点及运用模式定义人工智能全生命周期中的资产、风险、薄弱性以及威胁。

（1）资产：人工智能环境中有代价的数据、算法模型、智能框架、运用环境、运行环境等。

（2）风险：人工智能全生命周期中威胁主体利用资产的薄弱性对其机密性、完全性及可用性造成丢失或者毁坏的可能性。

（3）薄弱性：人工智能全生命周期中被威胁利用的系统毛病或者漏洞，越薄弱被攻击的可能性越大。

（4）威胁：人工智能全生命周期中有危害的、不能预见事宜发生的可能性。

对资产的影响、威胁频度及薄弱性的评估都依据模糊理论对各成分进行阐发处理 ，以构建安全风险成分集和评判集，构建过程如下：

（1）构建安全风险成分集

表示在第 i 类下有 n 个风险成分，

个中 n 是 i类人工智能安全风险下风险成分的个数。

（2）布局评判集，即在第 i 类人工智能安全风险下资产影响、威胁频度和薄弱性的判断凑集，即

个中 m 为对应判断集中元素的个数。
人工智能系统资产影响、威胁频度和薄弱性的评价如表 2、表 3、表 4 所示。

表 2  人工智能资产主要程度的评价

表 3  人工智能威胁程度的评价

表 4  人工智能薄弱性严重程度的评价

（3） 构 建 安 全 风 险 评 估 的 评 价 和 评 判 映射，依据评判集 B 对成分集 Wi 年夜家工智能安全风 险 因 素 实 行 评 价， 再 赋 予 评 语， 由 此 构 建 的模 糊 映 射：

F(B) 是 B 上 的 模 糊 集，

个中 f 表示人工智能全生命周期安全风险成分

对评判集中各评语的支持程度，安全风险成分

对评判集 B 的从属向量为

得到从属度矩阵：

接下来是对各安全风险进行打分，如通过大量咨询专家、头脑风暴和打分表等形式，对各安全风险依照评价表进行打分评定，求其均值。
对评分结果进行归一化处理，处理公式如下：

式中：

由式（1）可得该风险 j 的评语 k 的从属度矩阵

m 是评语的数量，本方法中 m=5。
同理能够求出

类风险下各风险成分对资产影响、威胁频度及薄弱性的评定矩阵

3.2　确定风险熵

在

类风险下，根据式（2）得出资产影响、威胁频度及薄弱性的从属度矩阵后，根据式（3）、式（4）得到资产影响权重、威胁频度权重及薄弱性严重程度的熵值 。

越逼近相等，其熵值越大，相应的安全风险

对其评估的不愿定程度越大，当m个状态概率全都涌现相等的情形下，表明等概率分布的均匀不愿定性最大。
求极值可得，当

时，达到最大熵

利用最大熵

作标准，对式（3）进行归一化，可得该风险向的相对主要程度的熵值为：

3.3　确定权重向量

当

的 值 相 同 时， 即

具有最大值 1，且

当

最大时，表明专家组的评估见地分散，即该风险成分对系统的安全风险评估的贡献不大，因此可用来衡量安全风险项的权重。
资产影响、威胁频度及薄弱性严重程度的权重向量的打算式为：

式中：

同理，可以打算出其他类风险的资产影响、威胁频度以及薄弱性严重程度的权重向量。

3.4　量化各种安全风险

当量化人工智能系统的资产影响时，依据专家组的履历知识给予评价集中每个人工智能安全风险指标项对应的权重，得到权重指标向量

式中

为资产影响的评价集中元素的数量，可得到其威胁：

同理，人工智能系统威胁频度的安全风险项对应的权重指标向量

个中，

为威胁频度评价集中评价要素的数量，可以得到其威胁：

同理，人工智能系统薄弱性严重程度的评判凑集指标向量

个中，

为薄弱性严重程度的评价集中元素的数量，那么其威胁：

人工智能系统各

类的风险为：

式中：

一样平常都为 1/3，可根据实际需求微调。
LR 的值越大则风险等级越高，对照表 5 进行剖断。

表 5  安全风险从属度等级对照表（预设的安全风险从属度等级对照表）

3.5　量化评估人工智能系统整体安全风险

将马尔可夫链与人工智能安全风险评估指标体系相结合，建立各安全风险类之间的状态转移矩阵

即：

式中：状态转移 q 基于专家组知识得到人工智能安全风险所有可能涌现的状态集，并以此构建状态转移矩阵。
风险类有 6 种，统共 18 个风险因子。

表示风险类

干系的安全风险成分（包括其他安全风险类下的安全风险成分）的权重的和。
进一步对 Q 中的元素进行归一化处理，打算公式类似于公式（2），得到归一化后的状态转移矩阵为：

转移矩阵 γ 和稳态概率能使下列方程成立：

个中，对角线上的元素是指单独发生该安全风险的情形，非对角线上的元素是指人工智能安全风险可能相互转移的情形。
因此，人工智能系统的资产影响、威胁频度风险值及薄弱性的安全风险值量化公式为：

结合式（14）、式（15）、式（16）打算可得人工智能全生命周期的安全资产影响、威胁频度风险、薄弱性风险的量化值。
末了根据式（10）即可得到人工智能系统整体安全风险值 LR。

４

结  语

本文基于现有人工智能安全风险评估技能，一方面，提出了一种针对人工智能整体性安全风险评估方法。
以模糊数学为纽带，将定性和定量的安全风险评估方法相结合，以信息熵为锚点，布局熵权向量，结合资产影响、威胁频度、薄弱性和构建的安全风险从属度等级表对人工智能进行整体性的安全风险等级评估，同时保留了对各种安全风险的评价及评估。
另一方面，供应了一种面向全局的人工智能安全风险展现方法。
通过将马尔可夫链理论运用于各安全风险类，形成各个风险类在稳定状态下的转移矩阵和概率分布，使得人工智能安全风险状态更直不雅观、全面地展现。

引用格式：石凯 , 陈捷 , 张锋军 , 等 . 人工智能全生命周期安全风险综合评估方法 [J]. 通信技能 ,2023,56(5):626-633.

作者简介 >>>

石  凯，男，硕士，工程师，紧张研究方向为大数据安全、人工智能安全；

陈  捷，女，博士研究生，研究员，紧张研究方向为通信网络与信息安全；

张锋军，男，博士研究生，研究员，紧张研究方向为云打算和大数据安全、信息系统智能管控技能；

曾梦岐，男，硕士，高等工程师，紧张研究方向为信息安全；

李庆华，男，学士，高等工程师，紧张研究方向为软件工程、云打算与大数据安全技能；

许  杰，男，博士，高等工程师，紧张研究方向为大数据安全、信息安全。

选自《通信技能》2023年第５期（为便于排版，已省去原文参考文献）