买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：智慧眼科技股份有限公司

摘要：本申请公开了一种医学长文本问答方法、装置、电子设备及存储介质，该方法包括：将第一扩大系数乘以原始基础频率，得到目标基础频率；将第二扩大系数乘以原始缩放因子，得到目标缩放因子；在RoPE编码层中，基于目标基础频率和目标缩放因子，对语义单元的第一嵌入数据进行编码，得到语义单元的第二嵌入数据；按预设的分组策略，将多个语义单元的第二嵌入数据分成多个分组；将分组输入到大语言模型的注意力层中，对当前分组进行注意力计算，得到分组对应的计算结果，将分组对应的计算结果进行合并，得到注意力层输出的注意力结果。本申请有利于提高大语言模型在长文本问答数据上的推理效果。

主权项：1.一种医学长文本问答方法，其特征在于，应用于电子设备，所述电子设备存储有大语言模型，所述医学长文本问答方法包括：获取医学文本数据，在所述医学文本数据中提取问答数据，将多个所述问答数据进行拼接处理，得到文本长度为目标长度的长文本问答数据；在所述长文本问答数据中提取出语义单元，将所述语义单元的第一嵌入数据输入到所述大语言模型的RoPE编码层中，获取所述RoPE编码层的原始基础频率和注意力对数的原始缩放因子，所述第一嵌入数据为携带了所述语义单元的语义信息的嵌入数据；根据所述目标长度、所述大语言模型在预训练阶段处理文本的最大长度以及预设的第一扩大系数生成模型，生成第一扩大系数，将所述第一扩大系数乘以所述原始基础频率，得到目标基础频率；获取所述语义单元的位置索引，根据所述位置索引、所述最大长度以及预设的第二扩大系数生成模型，生成第二扩大系数，将所述第二扩大系数乘以所述原始缩放因子，得到目标缩放因子；在所述RoPE编码层中，基于所述目标基础频率和所述目标缩放因子，对所述语义单元的所述第一嵌入数据进行编码，得到所述语义单元的第二嵌入数据，所述第二嵌入数据为携带了所述语义单元的所述语义信息以及相对位置信息的嵌入数据；按预设的分组策略，将多个所述语义单元的所述第二嵌入数据分成多个分组，所述分组策略为当前所述分组包含前一个或后一个所述分组中预设数量的所述语义单元的所述第二嵌入数据；将所述分组输入到所述大语言模型的注意力层中，对当前所述分组进行注意力计算，得到所述分组对应的计算结果，将所述分组对应的所述计算结果进行合并，得到所述注意力层输出的注意力结果。

全文数据：

权利要求：

百度查询： 智慧眼科技股份有限公司 一种医学长文本问答方法、装置、电子设备及存储介质