买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜西北工业大学申请的专利跨模态协同对抗攻击方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119475405B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510067163.X，技术领域涉及：G06F21/60；该发明授权跨模态协同对抗攻击方法及装置是由彭弘毅;孙一凡;周维铭;彭希奥;陈茗扬;王震设计研发完成，并于2025-01-16向国家知识产权局提交的专利申请。

本跨模态协同对抗攻击方法及装置在说明书摘要公布了：本发明公开了跨模态协同对抗攻击方法及装置，涉及人工智能安全领域。用以解决当前在大语言模型对抗攻击领域中，跨模态协同攻击建模难、优化机制构建难的问题。该方法提供的跨模态协同攻击能够规避这些基于单模态内容反馈的安全对齐机制，从而突破现有的防护手段，提高攻击的复杂性和不可预测性；再者，通过在关键跨模态语义子空间中优化对抗扰动，结合历史和未来梯度信息，能够提高扰动优化的效率、收敛速度和稳定性，避免陷入局部最优解，从而提升攻击的实用性和可操作性。

本发明授权跨模态协同对抗攻击方法及装置在权利要求书中公布了：1.跨模态协同对抗攻击方法，其特征在于，包括：基于与攻击主题相关的有害语义修改初始文本得到有害文本，在初始关键跨模态语义子空间中确定与所述有害文本相关的初始图像，根据所述有害语义生成调整策略，所述初始图像根据所述调整策略得到初始对抗图像；将所述初始文本中的第一关键语义输入预测模型，得到多个与所述第一关键语义相似的第一相似词，所述第一相似词替换所述第一关键语义得到初始对抗文本；其中，所述初始对抗图像和初始对抗样本形成初始对抗图文多模态数据样本；确定所述初始对抗图像和所述初始图像的第一损失函数，基于所述第一损失函数依次得到图像模态的梯度、图像模态的Jacobian矩阵和图像模态的Hessian矩阵；所述图像模态的梯度、图像模态的Jacobian矩阵、图像模态的Hessian矩阵、文本模态的梯度、文本模态的Jacobian矩阵和文本模态的Hessian矩阵进行加权融合，得到跨模态广义梯度；其中，图像模态包括初始对抗图像和初始图像，文本模态包括初始对抗文本和初始文本；基于所述跨模态广义梯度，所述初始对抗文本通过前k个排名Top-k预测得到多个与第二关键语义相似的第二相似词，根据第二相似词的得分顺序依次替换所述第二关键语义，得到第一对抗文本，将所述第一对抗文本和所述初始对抗文本输入攻击目标模型，若得到的第一预测标签和初始预测标签不同且符合攻击主题，将所述第一对抗文本确定为攻击成功的最终对抗文本；基于所述最终对抗文本所包括的关键相似词得到文本关键语义子空间，基于注意力机制对所述文本关键语义子空间和图像关键语义子空间进行特征对齐；强化所述文本关键语义子空间包括的关键相似词，得到强化关键语义，将所述强化关键语义映射到图像关键语义子空间，根据所述强化关键语义对图像关键语义子空间包括的第二关键区域进行修改，得到强化关键区域；根据所述强化关键语义和所述强化关键区域分别得到强化对抗文本和强化对抗图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市碑林区友谊西路127号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。