龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本公开提出一种序列处理方法、电子设备和存储介质，序列处理方法包括：将输入序列分割成有序的第一批次数个子序列，并确定各个子序列对应的子序列序号；基于子序列序号确定子序列中的各个输入词元对应的第一位置编码；基于输入词元在对应的子序列中的位置序号确定各个输入词元对应的第二位置编码，并基于第一位置编码和第二位置编码确定对应的目标位置编码；针对各个输入词元，基于对应的目标位置编码调整对应的第一查询向量和第一键向量，得到对应的第二查询向量和第二键向量；基于各个输入词元对应的各个第二查询向量、各个第二键向量和各个值向量进行注意力处理，得到与输入数据对应的输出序列。本公开能提高大语言模型在推理过程中的外推性。
主权项：1.一种序列处理方法，其特征在于，所述方法包括：将大语言模型的输入数据转换成对应的输入序列，并确定所述输入序列的第一长度；基于所述第一长度和所述大语言模型对应的第一预设序列长度确定第一批次数，将所述输入序列分割成有序的第一批次数个子序列，并确定各个所述子序列对应的子序列序号；针对各个子序列，基于对应的所述子序列序号确定所述子序列中的各个输入词元对应的第一位置编码，其中，单个所述子序列中各个输入词元对应的第一位置编码相同；针对各个输入词元，基于所述输入词元在对应的所述子序列中的位置序号进行位置编码，得到各个所述输入词元对应的第二位置编码，并基于所述输入词元对应的所述第一位置编码和所述第二位置编码确定所述输入词元对应的目标位置编码；针对各个输入词元，生成所述输入词元对应的第一查询向量、第一键向量和值向量，基于所述输入词元对应的所述目标位置编码调整所述输入词元对应的所述第一查询向量和所述第一键向量，得到所述输入词元对应的第二查询向量和第二键向量；基于各个所述输入词元对应的各个所述第二查询向量、各个所述第二键向量和各个所述值向量进行注意力处理，并基于注意力处理的结果得到与所述输入数据对应的输出序列。
全文数据：
权利要求：
百度查询： 苏州亿铸智能科技有限公司 序列处理方法、电子设备和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号