买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明公开了一种基于音素标识扰动的听觉数据安全评测方法，主要解决现有技术攻击性不足，隐蔽性差的问题。其实现方案是：获取原始音频样本、目标音频样本并预处理；提取预处理后音频样本特征，得到FBank和MFCC特征向量；使用FBank特征向量训练神经网络‑隐马尔可夫模型并建立pdf‑id序列映射表；利用训练好的模型更新映射表；添加初始扰动得到初始对抗样本X′求得pdf‑id序列；根据损失函数优化δt得到最终的对抗样本X"；利用X"评估系统安全性。本发明通过减小对抗样本和目标样本的音素标识距离及原始样本的声觉特征距离优化对抗样本，提高了语音识别对抗样本的攻击性和隐蔽性，可用于语音识别系统的攻击及安全防护。

主权项：1.一种基于音素标识扰动的听觉数据安全评测方法，其特征在于，包括如下步骤：1向语音识别系统输入原始音频样本X和目标音频样本Y，并进行预处理；2提取预处理后的原始音频样本X和目标音频样本Y的语音特征，分别得到梅尔频率倒谱系数MFCC特征向量和梅尔滤波器组系数FBank特征向量；3将MFCC特征向量输入到现有的高斯混合-隐马尔可夫模型GMM-HMM进行训练，得到状态转移概率和观测概率，使用vterbi算法对模型输入输出数据进行解码，使得每个音频帧对应的转换标识transition-id与状态标识state-id对齐，统计每个transition-id对应的state-id，构成映射表；4选用神经网络-隐马尔可夫模型DNN-HMM，并对其进行训练得到训练好的神经网络-隐马尔可夫模型DNN-HMM；5将FBank特征向量输入到训练好的神经网络-隐马尔可夫模型DNN-HMM，输出一组概率密度函数标识pdf-id，每个概率密度函数标识pdf-id对应到一个state-id，使用步骤3中的映射表，将每个transition-id映射到对应的state-id，再映射到概率密度函数标识pdf-id，更新映射表；6向原始音频样本X中添加一个初始的随机扰动δt得到初始对抗样本X′：X’＝X+δt；7获得概率密度函数标识pdf-id序列：7a将初始对抗样本X′的FBank特征向量输入到训练好的神经网络-隐马尔可夫模型DNN-HMM，输出包含每个帧的每个pdf-id概率矩阵A，其中第i行第j列的元素为ai,j，1≤i≤n,1≤j≤k，n表示帧的总数，k表示每帧的pdf-id总数；7b在概率矩阵A中，将每一行选择其k个元素中的最大值作为该行所对应帧最有可能的概率密度函数标识得到初始对抗样本X′的最可能的概率密度函数标识pdf-id序列：gX+δt＝m1,m2,…,mi,…,mn；7c将目标音频样本Y的FBank特征向量输入到训练好的神经网络-隐马尔可夫模型DNN-HMM输出音素标识，并根据文本对其进行校正得到transition-id，再通过更新后的映射表得到准确的pdf-id序列：b＝b1,b2,…,bi,…,bn；8对扰动δt进行最优化，得到最终的对抗样本X"：8a设计两个损失项L1和L2： 其中，l是扰动δt的约束条件上限，mfccX+δt是对抗样本X′的MFCC特征向量，mfccX是原始音频样本X的MFCC特征向量；8b在两个损失项之间加入平衡系数α，得到目标损失函数L： s.t.|δt|≤l8c计算目标函数L的损失值，通过梯度下降方式，不断迭代更新vt，当损失值不再明显变化时，得到最优的扰动值δ′t，将其带入步骤6式得到最终的对抗样本X"。9将最终的对抗样本X"输入到待评测的语音识别系统，评估系统安全性：9a计算对抗样本X"的信噪比SNRa和原始样本X的信噪比SNRo；9b将最终的对抗样本X"输入到待评测的语音识别系统，计算得出攻击成功率ASR： 其中，nX"是对抗样本X"成功解码的字符数，nY是目标样本Y的字符数；9c计算系统威胁系数指标Fattack： 其中，N表示音频样本总数，α是平衡系数，Fattack的取值范围为[0,1]；9d设定一个安全阈值θ，将计算的系统威胁系数指标Fattack与其进行比较：若Fattack≥θ，则评测系统不安全；若Fattackθ，则评测系统安全，系统威胁系数指标越小，表明系统安全性越高。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于音素标识扰动的听觉数据安全评测方法