买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国兵器装备集团兵器装备研究所

摘要：本发明公开了一种基于神经网络模型的产品问答方法及装置。所述方法包括：基于预处理后的产品问答数据形成产品语料库；TF‑IDF模型将所述问题及真实答案作为输入，基于输入生成与输入对应的词向量，所述词向量为问题及真实答案构成的问答对的词向量；基于所述词向量生成输入向量，基于输入向量对Transformer神经网络模型进行预训练，得到训练完毕的Transformer神经网络模型；获取待获取答案的问题，TF‑IDF模型将所述待获取答案的问题作为输入，基于输入生成与输入对应的词向量，将该词向量输入训练完毕的Transformer神经网络模型，得到与所述待获取答案的问题对应的答案。本方法对产品问题能够做出较为准确明了的答复，提高了产品效率和质量。

主权项：1.一种基于神经网络模型的产品问答方法，其特征在于，所述方法包括如下步骤：步骤S1：获取产品问答数据，对所述产品问答数据进行预处理，基于预处理后的产品问答数据形成产品语料库；步骤S2：对所述产品语料库中的若干段落进行问答标注，所述问答标注包括问题及真实答案；TF-IDF模型将所述问题及真实答案作为输入，基于输入生成与输入对应的词向量，所述词向量为问题及真实答案构成的问答对的词向量；基于所述词向量生成输入向量，基于输入向量对Transformer神经网络模型进行预训练，得到训练完毕的Transformer神经网络模型；其中，所述Transformer神经网络模型包括依次相连的Transformer编码器及Transformer解码器；所述Transformer编码器对所述输入向量进行编码，并获取输入向量中的语义信息，生成与所述问题对应的上下文表示对应的中间向量，所述上下文表示为多个，中间向量与上下文表示一一对应，中间向量作为第一待解码向量；将所述第一待解码向量输入所述Transformer解码器，所述Transformer解码器将所述第一待解码向量与所述输入向量进行特征融合，作为待解码向量，所述Transformer解码器对所述待解码向量进行解码，得到多个解码结果向量，从中选取一个解码结果向量，基于选取的解码结果向量，输出一个与所述问题对应的答案；步骤S3：获取待获取答案的问题，TF-IDF模型将所述待获取答案的问题作为输入，基于输入生成与输入对应的词向量，将所述词向量输入训练完毕的Transformer神经网络模型，得到与所述待获取答案的问题对应的答案；所述TF-IDF模型基于输入生成与输入对应的词向量，包括：步骤S11：从输入中提取关键词，对每个关键词，执行以下操作：计算关键词的词频TF，TF为关键词出现的次数除以所述输入中的单词数；计算关键词的逆文档频率IDF，IDF为所述输入的全部单词数除以所述产品语料库中包括该关键词的文本的文本数；计算TF*IDF，作为所述关键词的表征，将所述关键词的表征与该关键词拼接，作为该关键词对应的词向量；步骤S12：将全部词向量组成的集合作为与输入对应的词向量；所述Transformer编码器由6个逐层连接的编码器层组成，每个编码器层包括一个多头自注意力机制模块和一个前馈神经网络模块；所述Transformer编码器用于对输入的词向量进行编码，确定输入词向量中的语义信息，生成与词向量对应的上下文表示对应的中间向量，所述上下文表示为多个，中间向量与上下文表示一一对应，中间向量作为第一待解码向量；所述Transformer解码器包括多个逐层连接的、结构相同的解码器层，每个解码器层包括两个多头自注意力机制模块和一个前馈神经网络模块；将所述第一待解码向量输入所述Transformer解码器，将所述第一待解码向量与所述输入向量进行特征融合，作为待解码向量，所述Transformer解码器的各个解码器层对所述待解码向量进行逐层解码，得到多个解码结果向量，从中选取一个解码结果向量，基于选取的解码结果向量，输出一个与所述问题对应的答案；所述编码器层将该层的输入向量添加注意力，将添加注意力后的输入向量与该编码器层的多头自注意力机制模块的头进行拼接，生成拼接向量，其中： MultiHeadq，k，v＝Concat{head_i}*ωo，i＝1，...，ISelf_Attentionq,k,v为自注意力机制模块中的自注意力机制，q为与问题对应的词向量；k为从产品语料库中形成的所有词向量，v为从产品语料库中形成的所有词向量对应的实际数值，T为转置，dk为词向量维度，MultiHeadq,k，v为多头自注意力机制模块，head_i为多头自注意力机制模块中的第i个自注意力机制模块，维度为dk，concat表示连接操作，Concat{head_i}为将{head_i}进行拼接，{head_i}为由第i个自注意力机制模块构成的集合，ωo为参数矩阵，用于将该层的输入向量与目标向量进行线性变换，I为多头自注意力机制模块中的自注意力机制模块的个数；所述将所述第一待解码向量与所述输入向量进行特征融合、作为待解码向量，包括：将所述输入向量与全部中间向量按照权重进行加权求和，计算公式为： 其中，N为中间向量的总个数，n为中间向量的编号，Encodern为Transformer编码器输出的第n个中间向量，为所述输入向量，ωn、ωm均为权重；所述Transformer解码器的各个解码器层对所述待解码向量进行逐层解码，得到多个解码结果向量，即还原出各个中间向量的得分；从中选取一个解码结果向量，基于选取的解码结果向量，输出一个与所述问题对应的答案，即将得分最高的中间向量作为答案，得分的计算方式为： 其中，Scoren为还原的第n个中间向量的得分，Decodern为Transformer解码器还原的第n个中间向量。

全文数据：

权利要求：

百度查询： 中国兵器装备集团兵器装备研究所 一种基于神经网络模型的产品问答方法及装置