申请/专利权人：深圳北鲲云计算有限公司

申请日：2022-03-23

公开（公告）日：2024-06-28

公开（公告）号：CN114827125B

主分类号：H04L67/06

分类号：H04L67/06;H04L9/40;G06F16/174;G06F3/06

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2022.08.16#实质审查的生效;2022.07.29#公开

摘要：本发明公开了一种高性能计算云平台并行数据传输方法、系统及介质，首先将待传输的文件进行encoding编码,根据预先设置的BlockSize参数生成多个固定大小的数据块，再将数据块进行分片及队列化，形成并行传输队列，对每个队列项的数据做压缩、加密处理，然后使用多传输通道并行上传多个队列的数据，在接收侧并行接收传输队列的数据，并进行解密及解压缩，得到原始数据块，最后根据数据块中的header信息直接写入文件内容。本发明解决了传输串行低效的问题，提高海量小文件在传输中串行的传输效率；在传输失败的情况下，由于是并行多数据块传输，只需要重新上传失败的数据块，无需整个文件重新上传，避免了整体重传需求。

主权项：1.一种高性能计算云平台并行数据传输方法，其特征在于，所述方法包括以下步骤：在发送方将待传输的文件进行encoding编码，得到encoding编码过的数据块；将每个encoding编码过的数据块进行分片及队列化，形成并行传输队列，一个数据块包含多个chunkheader–文件chunk对组成，一起占据BlockSize参数决定的字节大小；对每个传输队列的数据进行压缩及加密处理；使用多传输通道并行上传多个传输队列的数据至接受方；所述使用多传输通道并行上传多个传输队列的数据至接受方的步骤包括：在发送方根据所述并行传输队列的长度，使用多传输通道向所述接受方并行发送多个传输请求，将多个传输队列的数据并行发送至接受方，其中，在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，以及执行解码decoding、写入文件内容操作；其中，针对多个传输项或多个数据块并行接受的情况下，所述解码decoding及写入文件操作并行执行；所述在发送方将待传输的文件进行encoding编码，得到encoding编码过的数据块的步骤包括：在发送方选中需要传输的文件列表；将待传输的文件进行encoding编码，根据一个预先设置的BlockSize参数来生成多个固定大小的数据块，得到encoding编码过的数据块；所述在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，以及执行解码decoding、写入文件内容操作的步骤包括：在接受方接收到发送方发送的传输队列的数据后，对接收的数据进行解密、解压缩处理，得到传输项，每个传输项包含1到多个编码过的数据块；接受方根据传输项Size以及BlockSize参数将传入的传输项分割为1到多个数据块，对每个数据块依次执行解码及写入文件内容操作；所述接受方对每个数据块依次执行解码及写入文件内容操作的步骤包括：通过解码算法读取数据块的第一个chunkheader信息,获取到第一个文件chunk的信息，然后根据chunk大小，读取对应字节的数据，执行写入文件操作，然后读取下一个chunkheader，直至数据块的数据读取完毕。

全文数据：

权利要求：

百度查询： 深圳北鲲云计算有限公司 高性能计算云平台并行数据传输方法、系统及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD