买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中山大学附属第一医院;广东海洋大学

摘要：一种基于Whisper模型的住院医师临床口试智能评分方法，包括根据测试语音数据建立训练数据集，训练数据集和文本标签翻倍；生成f*512*512规模文本标签矩阵；样本翻倍的音频数据特征矩阵输入两个连续的一维卷积层并使用GELU函数激活，开始构建Transformer输入网络；构建Transformer并加入全局注意力机制，生成完整的Transformer；到达Transformer的最优权重参数，生成改善的Whisper模型。使用Lora方法生成新的卷积核参数用于替换卷积核参数，得到带有更新后的权重参数的whisper的模型，微调权重替换后，得到改善的微调whisper模型。本发明在改进Whisper模型时使用全注意力，加快模型训练速度，提高效率。在特定领域的微调需求方面，用Lora方法对模型进行微调，避免冗余的权重，使得微调过程更为迅速准确。

主权项：1.一种基于Whisper模型的住院医师临床口试智能评分方法，包括：步骤1：收集住院医师临床知识测试语音数据，生成并校正文本标签，建立相应的训练数据集；根据输入的实际语音数据及其文本标签，通过Log-Mel声谱将训练数据集切割重组出多份样本，使训练数据集翻倍以扩充数据训练样本，文本标签也进行翻倍；步骤2：构建样本翻倍后的音频数据特征矩阵XNlog-melf，N1，mels的文本位置编码，在并行训练的神经网络中标记文本，将文本位置编码赋值给文本标签，得到f*512*512规模的文本标签矩阵TextN2f*512*512，N2，用以Transformer构建使用；其中f表示频率，mels是Mel滤波器数量，N2表示音频对应行数，N1表示训练数据集的特征矩阵Xlog-mf，mels单行返回的数量；步骤3：对样本翻倍的音频数据特征矩阵XNlog-melf，N1，mels有序的输入两个连续的一维卷积层并使用GELU函数激活，开始构建Transformer输入网络，其中两个连续的一维卷积层表示为2×Conv1D+GELU中，形成transformer的输入网络；步骤4：将步骤3生成的第二次GELU卷积返回矩阵与步骤2生成的f*512*512规模文本标签矩阵相加，得到含有位置编码的音频数据矩阵Xl，构建Transformer并加入全局注意力机制，生成完整的Transformer；步骤5：重复步骤3-4中处理构建Transformer，到达Transformer网络的最优权重参数，生成改善的Whisper模型Mnorm。

全文数据：

权利要求：

百度查询： 中山大学附属第一医院 广东海洋大学 一种基于Whisper模型的住院医师临床口试智能评分方法