买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学

摘要：本申请涉及一种基于双重注意力精炼网络的听觉注意解码方法和装置，听觉注意解码方法包括：获取脑电信号序列数据，通过滑动窗口对脑电信号序列数据进行截取，得到多个脑电信号窗口数据；通过时空特征提取网络对脑电信号窗口数据进行特征提取，生成低密度时空特征；通过第一注意力精炼网络对低密度时空特征进行精炼处理，生成浅层高密度时空特征，通过第二注意力精炼网络浅层高密度时空特征进行处理，生成深层高密度时空特征；根据浅层高密度时空特征和深层高密度时空特征，生成听觉注意表示；根据听觉注意表示，生成脑电信号序列数据的听觉注意解码结果。本申请可以提高听觉注意解码准确度，解决了目前的听觉注意解码方法存在听觉注意解码准确度低的问题。

主权项：1.一种基于双重注意力精炼网络的听觉注意解码方法，所述双重注意力精炼网络包括第一注意力精炼网络和第二注意力精炼网络；其特征在于，所述听觉注意解码方法包括：获取脑电信号序列数据，通过滑动窗口对所述脑电信号序列数据进行截取，得到多个脑电信号窗口数据；通过时空特征提取网络对所述脑电信号窗口数据进行特征提取，生成低密度时空特征；通过所述第一注意力精炼网络对所述低密度时空特征进行精炼处理，生成浅层高密度时空特征，通过所述第二注意力精炼网络所述浅层高密度时空特征进行处理，生成深层高密度时空特征；根据所述浅层高密度时空特征和所述深层高密度时空特征，生成听觉注意表示；根据所述听觉注意表示，生成所述脑电信号序列数据的听觉注意解码结果；其中，所述浅层高密度时空特征的生成函数为： ，其中，S表示低密度时空特征，F1表示浅层高密度时空特征，MultiHeadAttention表示多头自注意力层，Conv1d表示一维卷积操作，ELU表示线性激活操作，MaxPool表示最大池化操作；所述深层高密度时空特征的生成函数为： ，其中，F1表示浅层高密度时空特征，F2表示深层高密度时空特征，MultiHeadAttention表示多头自注意力层，Conv1d表示一维卷积操作，ELU表示线性激活操作，MaxPool表示最大池化操作；所述时空特征提取网络包括时间特征提取网络和空间特征提取网络；所述低密度时空特征的生成步骤包括：通过所述时间特征提取网络对所述脑电信号窗口数据进行特征提取，生成时间特征，所述时间特征的生成函数为： ，其中，E表示脑电信号窗口数据，Et表示时间特征，Conv2d表示二维卷积操作，GELU表示高斯误差线性激活操作；通过空间特征提取网络对所述时间特征进行特征提取，生成所述低密度时空特征，所述低密度时空特征的生成函数为： ，其中，S表示低密度时空特征，Et表示时间特征，SpatialConv2d表示全通道二维卷积操作，GELU表示高斯误差线性激活操作；所述听觉注意解码方法在通过所述第一注意力精炼网络对所述低密度时空特征进行精炼处理之前还包括：给所述低密度时空特征添加绝对位置编码；所述听觉注意表示通过拼接一维映射后的所述浅层高密度时空特征和所述深层高密度时空特征得到；所述听觉注意表示的生成步骤包括：通过自适应平均池化操作和线性层将所述浅层高密度时空特征投影到一维，生成浅层听觉注意表示，所述浅层听觉注意表示的生成函数为： ，其中，F1表示浅层高密度时空特征，AdaptiveAvgPool表示自适应平均池化操作，Linear表示线性层，表示浅层听觉注意表示；通过自适应平均池化操作和线性层将所述深层高密度时空特征投影到一维，生成深层听觉注意表示，所述深层听觉注意表示的生成函数为： ，其中，F2表示深层高密度时空特征，AdaptiveAvgPool表示自适应平均池化操作，Linear表示线性层，表示深层听觉注意表示；拼接所述浅层听觉注意表示和所述深层听觉注意表示，得到所述听觉注意表示，所述听觉注意表示的生成函数如下： ，其中，F表示听觉注意表示；所述脑电信号序列数据的听觉注意解码结果的生成步骤包括：将所述听觉注意表示输入全连接层，根据所述全连接层的输出生成所述脑电信号序列数据的听觉注意解码结果，所述全连接层的分类预测函数为： ，其中，W表示全连接层的权重矩阵，b表示偏置，softmax表示归一化指数函数，F表示听觉注意表示，y表示全连接层的输出。

全文数据：

权利要求：

百度查询： 安徽大学 基于双重注意力精炼网络的听觉注意解码方法和装置