恭喜江西功博网络科技有限公司向先容获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜江西功博网络科技有限公司申请的专利基于大模型的数据存储方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119292524B 。
龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411335849.4,技术领域涉及:G06F3/06;该发明授权基于大模型的数据存储方法是由向先容;邓波;邓伟刚设计研发完成,并于2024-09-24向国家知识产权局提交的专利申请。
本基于大模型的数据存储方法在说明书摘要公布了:本发明涉及数据存储管理技术领域,尤其涉及一种基于大模型的数据存储方法。所述方法包括以下步骤:对目标预训练大模型进行输入类簇分片优化,得到存储模量分片数据;利用存储模量分片数据构建智能分片存储策略;获取目标模型训练数据;利用智能分片存储策略对目标模型训练数据进行智能分片存储,并进行冗余压缩优化,得到动态冗余存储索引数据;根据动态冗余存储索引数据进行训练数据存储空间优化,得到优化数据存储策略。本发明通过对数据进行智能分片存储以及精细化数据冗余压缩,实现了高效、稳定的模型训练数据访问,解决了大模型训练过程中数据存储和访问效率低下的问题,显著提升了模型训练效率和推理实时性。
本发明授权基于大模型的数据存储方法在权利要求书中公布了:1.一种基于大模型的数据存储方法,其特征在于,包括以下步骤:步骤S1:对目标预训练大模型进行模型内部参数提取,分别得到多维模型参数矩阵以及输入类型参数矩阵;根据输入类型参数矩阵进行输入类簇分片优化,生成模量输入分片数据;对模量输入分片数据进行分布式存储节点映射,得到存储模量分片数据;步骤S2:通过多维模型参数矩阵对存储模量分片数据进行智能分片存储策略处理,从而得到智能分片存储策略;获取目标模型训练数据;基于分布式存储管理系统利用智能分片存储策略对目标模型训练数据进行智能分片存储,得到模型训练存储数据;步骤S3:对模型训练存储数据进行冗余数据块检测,分别得到训练冗余数据以及训练非冗余数据;对训练冗余数据以及训练非冗余数据进行冗余压缩优化,并进行冗余存储索引构建,从而得到动态冗余存储索引数据;根据动态冗余存储索引数据进行数据存储检索优化,生成优化存储训练数据;步骤S4:对优化存储训练数据进行训练数据调用顺序推理,生成数据调用顺序数据;对数据调用顺序数据进行关键数据识别,并进行快速存取量处理,生成关键存取训练数据;将关键存取训练数据进行数据预加载处理,生成模型训练预加载缓存数据;步骤S5:对模型训练预加载缓存数据进行数据流多通道并行传输,得到并行传输数据流;将并行传输数据流传输至目标预训练大模型进行模型训练,并进行数据存取命中率反馈,生成缓存命中率数据;根据缓存命中率数据进行训练数据存储空间优化,从而得到优化数据存储策略。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江西功博网络科技有限公司,其通讯地址为:334000 江西省上饶市信州区茅家岭街道工业大道206号(现上饶呼叫城运营中心)3号楼17楼ABEF区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。