龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：李明
摘要：本发明提供一种层次化概念预测的大语言建模方法，旨在通过该方法提升大语言模型的效率和推理表现。包括：使用时序多尺度离散量化自动编码器（Seq‑MultiScaleVQVAE）将以文本为代表的时序数据转换为层次化概念令牌树，提出一种基于层次化概念令牌树的概率语言模型，以及基于该令牌树概率语言模型的自回归建模方法。相比传统的预测下一个词，本发明提出的层次化概念预测的大语言建模方法通过预测下一个概念，具有更好的数据效率，能够取得更好的推理表现；此外基于层次化概念令牌树的概率模型能够极大地减少相应自回归方法的注意力长度，从而提升训练和推理效率。
主权项：1.一种时序多尺度离散量化自动编码器（Seq-MultiScaleVQVAE），用于将一段时序数据转换为层次化概念token，以文本为代表进行阐述，其特征在于，其包括如下步骤：步骤一，文本分词和切段，使用传统分词器（如BPEtokenizer）将原始长文本语料转换为词令牌序列，并分割为如下所示的长度均为L的若干段（Segments），其中，W为分词器得到的词表大小： 步骤二，使用Seq-MultiScaleVQVAE算法（如下伪代码所示）将Segments转换为层次化概念令牌序列集合R。其中表示词嵌入；K表示层次化概念层数，表示第k层概念令牌序列尺寸；表示从词嵌入或者码本中查找令牌序列的特征；表示编码器，可以选择常用的卷积或者变换器模型；采用双线性插值对序列特征进行下采样；定义为：，其中表示码本（codebook），表示码本尺寸；为1x1卷积；表示近邻插值；表示解码器，使用因果掩码解码变换器（CausualMaskDecoder-OnlyTransformer）以达到即时解码的要求。步骤三，Seq-MultiScaleVQVAE训练，采用Multi-ScaleVQVAE相同方式训练，只是将重构损失替换为针对文本的分类损失即可。
全文数据：
权利要求：
百度查询： 李明 一种层次化概念预测的大语言建模方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号