买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供基于ResNet‑GAU模型的PCVCs端到端语音识别方法，属于语音识别技术领域，包括：采用ResNet提取待识别的语音信号的时频域特征；通过多个串联的GAUmodule，捕捉时频域特征的词序信息；将词序信息传入Denselayer，在特征空间上进行线性变化后通过softmax层获得最终的分类预测概率。其中，本发明中的ResNet利用CNN的平移不变性和局部相关性提取语音信号的时频域信息；GAU利用门控的单头注意力机制不仅能更好地捕获序列长距离依赖关系来获得更大的感受野和上下文信息，同时也拥有更快的训练收敛速度；CTC利用引入blank和产生重复token解决了语音信号和文本标签硬对齐的问题。

主权项：1.基于ResNet-GAU模型的PCVCs端到端语音识别方法，其特征在于，包括以下步骤：采用ResNet提取待识别的语音信号的时频域特征；通过多个串联的GAUmodule，捕捉时频域特征的词序信息；将词序信息传入Denselayer，在特征空间上进行线性变化后通过softmax层获得最终的语音分类预测概率；所述采用ResNet提取待识别的语音信号的时频域特征，包括以下步骤：输入待识别语音，经过7×7ConvLayer，卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量；输出的特征图被传递至MaxPoolingLayer进行特征选择和信息过滤；PoolingLayer包含预设定的池化函数，将特征图中单个点的结果替换为其相邻区域的特征图统计量；将最大池化后的特征向量依次经过由不同数量的Residualblock组成的堆，得到高度提纯的特征，其中block内部，堆与堆均引入shortcutconnections，将输入跨层传递并与卷积的结果相加，缓解在CNN中增加深度带来的梯度消失问题；通过Flattenlayer将ResNet最终输出的特征进行降维处理，作为多个串联的GAUmodule的输入；还包括：对输入添加绝对位置编码，保证在时间维度上的一致性；将GAUmodule与GAUmodule之间引入shortcutconnections，将GAUmodule的输入跨层传递并与卷积的结果相加。

全文数据：

权利要求：

百度查询： 中国民用航空飞行学院 基于ResNet-GAU模型的PCVCs端到端语音识别方法