买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东师范大学

摘要：本发明属于软件维护技术领域，具体涉及一种基于多模态特征融合的代码摘要生成方法及系统；包括：获取代码并对其进行预处理和嵌入处理，得到tokens、语句和CFG三种嵌入；提取CFG的多尺度矩阵并对其进行加权融合，得到多尺度融合矩阵；对三种嵌入和多尺度融合矩阵进行处理，得到tokens特征、语句特征和多模态特征；对tokens特征和语句特征进行处理，得到交叉融合特征向量；对自然语言描述和其词位置信息进行处理，得到代码描述特征；将代码描述特征、交叉融合特征向量和多模态特征输入到解码器进行处理，得到解码特征；采用FNF模块对解码特征进行处理，得到预测摘要结果；本发明能够生成高质量的代码摘要。

主权项：1.一种基于多模态特征融合的代码摘要生成方法，其特征在于，包括：获取代码并对其进行预处理，将预处理得到的数据输入到训练好的基于多模态特征融合的代码摘要生成模型中，得到代码摘要生成结果；基于多模态特征融合的代码摘要生成模型的训练过程包括以下步骤：S1：获取训练代码并对其进行预处理，得到代码的三种模态数据，即代码的tokens，语句和控制流图CFG；S2：对代码的三种模态数据分别添加对应的位置索引信息，对三种模态数据及其对应的位置索引信息进行嵌入处理，得到tokens嵌入、语句嵌入和CFG嵌入；S3：提取CFG的多尺度矩阵并对其进行加权融合，得到多尺度融合矩阵；采用图注意力模型GAT对CFG嵌入和CFG的多尺度矩阵进行处理，得到CFG全局结构特征；得到多尺度融合矩阵的公式为：A+＝αA+βA2+γA3+…+1-α-β-γ-…An其中，A+表示多尺度融合矩阵，α、β、γ分别表示第一、第二、第三权重系数；A表示CFG的邻接矩阵，An表示CFG的n次幂矩阵；S4：分别对tokens嵌入、语句嵌入进行编码，得到tokens特征和语句特征；采用CFG编码器对多尺度融合矩阵和CFG全局结构特征进行处理，得到多模态特征；S5：采用三个交叉特征增强融合模块对tokens特征和语句特征进行处理，得到交叉融合特征向量；得到多模态特征的公式为： 其中，M表示多模态特征；Qc、Kc、Vc分别表示CFG编码器输入的查询、键和值；dk表示注意力机制输出的维度；S6：获取代码的自然语言描述及其词位置信息，并对自然语言描述和其词位置信息进行嵌入处理，得到代码描述嵌入；采用Masked注意力机制对代码描述嵌入进行处理，得到代码描述特征；S7：将代码描述特征、交叉融合特征向量和多模态特征输入到解码器进行处理，得到解码特征；S8：采用FFN模块对解码特征进行处理，得到预测摘要结果；得到解码特征的过程包括：将代码描述特征作为Q向量，将交叉融合特征向量作为K向量和V向量，采用第一FAF注意力模块根据Q、K和V向量进行自注意力机制处理，得到初始解码向量；将初始解码向量作为Q向量，将多模态特征作为K向量和V向量；采用第二FAF注意力模块根据Q、K和V向量进行自注意力机制处理，得到解码特征；其中，Q、K和V向量分别为查询向量、键向量和值向量；S9：根据预测摘要结果计算模型总损失并根据模型总损失调整模型参数，得到训练好的基于多模态特征融合的代码摘要生成模型。

全文数据：

权利要求：

百度查询： 山东师范大学 一种基于多模态特征融合的代码摘要生成方法及系统