买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：数据空间研究院

摘要：本发明公开了一种面向通用业务场景的人工智能模型安全性自动化评测方法，包括S1、用户提交被评测人工智能模型，以及指定训练被评测人工智能模型的原始数据集；S2、在对被评测人工智能模型进行白盒评测时，通过改进FGSM算法对原始数据集中的每个输入样本生成对应的对抗样本,构成对抗数据集；S3、调用被评测人工智能模型的接口对原始数据集进行预测；S4、在黑盒评测时，用户除需选择其他被评测人工智能模型在白盒评测过程中生成的对抗数据集外，其余过程均和白盒评测时一致；S5、最终得到对被评测人工智能模型的评测得分集合；S6、得到被评测人工智能模型的最终评分。本发明能够全面反映模型在不同攻击场景下的性能，提供客观和准确的评测结果。

主权项：1.一种面向通用业务场景的人工智能模型安全性自动化评测方法，其特征在于，包括如下步骤：S1、开始评测前，用户提交被评测人工智能模型，以及指定训练被评测人工智能模型的 原始数据集，并对被评测人工智能模型进行白盒评测或黑盒评测； S2、在对被评测人工智能模型进行白盒评测时，通过改进FGSM算法对原始数据集中的每个输入样本生成对应的对抗样本,构成对抗数据集； S3、在白盒评测时，调用被评测人工智能模型的接口对原始数据集进行预测， 记录被评测人工智能模型对每个原始输入样本的预测结果，调用被评测人工智能模 型接口对对抗数据集进行预测，记录模型对每个对抗输入样本的预测结果，输出对原始数据集和对抗数据集的预测结果以json格式保存到文件中； S4、在黑盒评测时，用户除需选择其他被评测人工智能模型在白盒评测过程中生成的 对抗数据集外，其余过程均和白盒评测时一致； S5、以S3和S4预测结果json文件为输入，采用多个评测算法依次对预测结果json文件 进行分析，得到对应评测算法对被评测人工智能模型的具体得分，最终得到对被 评测人工智能模型的评测得分集合Score： ；S6、对评测得分集合进行归一化处理，得到被评测人工智能模型的最终评分；所述S2具体包括：S21、输入数据和目标模型：设原始输入样本为x，真实标签为y，被评测人工智能模型为，其中，是模型参数； S22、计算自适应损失函数：选择自适应损失函数，自适应损失函数基于交叉熵损失并结合输入样本敏感性进行调整： ；其中，表示交叉熵损失函数，用于衡量模型预测结果与真实标签之间的差异，表示权重因子，用于平衡交叉熵损失和输入样本敏感性，N表示输入样本数量，表示损失函数J对输入样本的梯度，用于表示输入样本的敏感性； S23、计算损失函数对输入x的梯度：梯度表示为；S24、生成自适应对抗样本：通过自适应梯度上升法调整输入样本，使输入样本朝着最大化自适应损失的方向偏移： ；其中，表示生成的自适应对抗样本，表示控制扰动大小的超参数，决定了添加 到原始样本的扰动量，表示自适应损失函数的梯度符号，用于确定扰动 方向，表示自适应扰动因子，根据输入样本的敏感性动态调整扰动大小， 表示损失函数梯度的梯度，用于进一步调整扰动方向； S25、多样化对抗样本生成：对每个输入样本生成多个对抗样本，每个对抗样本使用不同的扰动策略： ；其中，k表示不同的扰动策略，和为不同的扰动大小和自适应因子； S26、根据S21-S25步骤，被评测人工智能模型的安全性通过在原始数据集和多 样化对抗数据集上的预测结果进行对比分析来评测。

全文数据：

权利要求：

百度查询： 数据空间研究院 面向通用业务场景的人工智能模型安全性自动化评测方法