恭喜清华大学郭雨晨获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜清华大学申请的专利基于字典索引定点运算的文本领域的变换器量化加速方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119848171B 。
龙图腾网通过国家知识产权局官网在2025-06-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510322794.1,技术领域涉及:G06F16/31;该发明授权基于字典索引定点运算的文本领域的变换器量化加速方法是由郭雨晨;戴琼海;秦升荣设计研发完成,并于2025-03-19向国家知识产权局提交的专利申请。
本基于字典索引定点运算的文本领域的变换器量化加速方法在说明书摘要公布了:本申请公开了一种基于字典索引定点运算的文本领域的变换器量化加速方法、装置、存储介质、设备和计算机程序产品,包括:根据对随机高斯分布的多个数值的聚合层次聚类,确定一个用以表征数值的聚类关系的基准字典;根据变换器中的每个第一张量对基准字典的线性变换,所确定的每个第一张量的第一字典值,确定第一张量的第一本地化字典;通过对第一字典值的指数函数拟合,确定对第一本地化字典的第一字典索引。本申请降低了额外的计算资源和存储空间需求,减少了训练成本和部署复杂性,并同时量化权重和激活值,解决了文本变换器量化压缩适用范围和实时性无法兼具问题。
本发明授权基于字典索引定点运算的文本领域的变换器量化加速方法在权利要求书中公布了:1.一种基于字典索引定点运算的文本领域的变换器量化加速方法,其特征在于,包括:根据对随机高斯分布的多个数值的聚合层次聚类,确定一个用以表征所述数值的聚类关系的基准字典;根据变换器中的每个第一张量对所述基准字典的线性变换,所确定的每个所述第一张量的第一字典值,确定所述第一张量的第一本地化字典;所述第一张量是所述变换器中,符合标准高斯分布的张量;所述第一字典值为浮点数据;通过对所述第一字典值的指数函数拟合,确定对所述第一本地化字典的第一字典索引;所述第一字典索引中的第一索引值为整形数据;所述第一索引值用于使所述变换器在获取到第一目标运算命令的情况下,根据对所述第一索引值中的目标第一索引值所对应的目标第一张量的调用,获得所述第一目标运算命令的执行结果;所述第一目标运算命令是所述目标第一张量参与运算的运算命令;所述通过对所述第一字典值的指数函数拟合,确定对所述第一本地化字典的第一字典索引,包括:按照的形式对所述第一字典值的指数函数拟合,以确定与每个所述第一字典值对应的二元数组,以及二元参数;所述二元数组的第一变量用于通过一位整形数据表征每个所述第一字典值与所述第一字典值的平均值的大小关系;所述二元数组的第二变量用于通过多位整形数据表征每个所述第一字典值按照指数函数分解后对所述二元参数中的第一参数a的指数值;b为所述二元参数中的第二参数;将分别与每个所述第一字典值对应的二元参数合并记录,以获得分别与每个所述第一字典值对应的第一索引值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人清华大学,其通讯地址为:100084 北京市海淀区清华园;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。