首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种预训练模型文件管理方法、程序产品、装置及介质 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:浪潮电子信息产业股份有限公司

摘要:本发明公开一种预训练模型文件管理方法、程序产品、装置及介质,涉及文件管理技术领域,用于实现模型文件管理,针对传统方案不支持文件断点续传的问题,提供了一种预训练模型文件管理方法,通过将文件分片传输,并在本地实时记录上传进度,当出现异常后重新上传文件时,可从断点数据块处重新进行上传,无需从头上传,可以有效地解决大模型文件的断点续传问题,避免大文件无法从中断处继续下载而严重影响效率和数据处理能力。并且,本方案实现的断点续传功能可直接部署在上传文件的客户端本地,通过额外设置的数据库文件即可实现,无需额外部署下载工具,也无需考虑到下载工具与管理系统之间的适配等问题,更易实施。

主权项:1.一种预训练模型文件管理方法,其特征在于,包括:当接收到文件上传命令时,将目标文件拷贝至工程目录下;将所述目标文件分成多个数据块,并为每一所述数据块分配唯一的数据块编号、确定每一所述数据块在所述目标文件中的地址信息;将各所述数据块的地址信息和数据块编号存储于第一数据库文件中,并针对每一所述数据块,于所述第一数据库文件中创建对应的上传状态项;其中,所述第一数据库文件为预先在工程目录下创建的数据库文件;所述上传状态项的初始状态为未上传;根据数据块编号和地址信息,依次上传各所述数据块至文件存储服务器;若所述数据块上传成功,则更新所述第一数据库文件中对应的上传状态项为上传成功;当需要重新上传所述目标文件时,根据各所述数据块对应的上传状态项和数据块编号,确定第一个上传状态项为未上传的所述数据块为目标数据块;从所述目标数据块开始,继续上传所述目标文件;其中,在所述目标文件上传完毕之后,还包括:将所述目标文件的文件信息存储至第二数据库文件中;其中,所述第二数据库文件为预先在工程目录下创建的数据库文件;每当所述第二数据库文件有数据更新时,推送所述第二数据库文件至远程仓库;方法还包括:当接收到工程创建命令时,在工程目录下由所述工程创建命令指定的文件夹内创建一新的文件夹作为本地仓库;于所述本地仓库中创建空的所述第一数据库文件和第二数据库文件;其中,所述第一数据库文件还用于存储访问密钥、分布式版本控制服务器账号信息和个人令牌;所述第二数据库文件还用于存储用户信息、分布式版本控制服务器接口地址和文件存储服务器地址;方法还包括:当接收到创建分支命令时,将当前分支的所述第一数据库文件提交至所述本地仓库中存储;调用分布式版本控制服务器的接口,基于当前分支创建新分支;复制当前分支的所述第二数据库文件作为新分支的所述第二数据库文件;将所述新分支推送至所述远程仓库。

全文数据:

权利要求:

百度查询: 浪潮电子信息产业股份有限公司 一种预训练模型文件管理方法、程序产品、装置及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术