买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市长城网信息科技股份有限公司

摘要：本申请涉及数据同步技术领域，尤其是涉及一种分布式并行计算的数据同步实现方法、装置、系统及介质，方法包括识别多个同步任务的同步数量，和每个同步任务的任务特征；基于同步数量和每个任务特征，确定每个执行节点的任务分配清单；识别每个同步任务的任务量，并基于每个任务分配清单的同步数量和每个同步任务的任务量，确定每个执行节点对应的任务时间轮信息；获取每个任务分配清单中每个同步任务的执行时刻，根据每个执行时刻和对应的任务时间轮信息，将每个执行节点的任务分配清单写入对应的任务时间轮中，得到每个执行节点的调度时间轮；控制每个执行节点根据对应的调度时间轮执行同步任务。本申请能够提升数据更新效率。

主权项：1.一种分布式并行计算的数据同步实现方法，其特征在于，包括：识别多个同步任务的同步数量，和每个同步任务的任务特征，每个同步任务对应一个待更新同步脚本；基于所述同步数量和每个任务特征，确定每个执行节点的任务分配清单，每个任务分配清单中包含多个同步任务；识别每个同步任务的任务量，并基于每个任务分配清单对应的同步数量和每个同步任务的任务量，确定每个执行节点对应的任务时间轮信息，所述任务时间轮信息包括时间间隔和刻度数量；获取每个任务分配清单中每个同步任务的执行时刻，根据每个执行时刻和对应的任务时间轮信息，将每个执行节点的任务分配清单写入对应的任务时间轮中，得到每个执行节点对应的调度时间轮；控制每个执行节点根据对应的调度时间轮执行同步任务；其中，所述根据每个执行时刻和对应的任务时间轮信息，将每个执行节点的任务分配清单写入对应的任务时间轮中，得到每个执行节点对应的调度时间轮，包括：识别每个任务时间轮信息中的时间间隔和刻度数量；基于每个任务时间轮信息对应的时间间隔、刻度数量以及每个执行时刻确定每个同步任务在对应任务时间轮中的任务槽；将每个同步任务对写入对应的任务槽中，得到每个执行节点对应的调度时间轮；其中，所述基于每个任务时间轮信息对应的时间间隔、刻度数量以及每个执行时刻确定每个同步任务在对应任务时间轮中的任务槽，包括：识别每个任务时间轮的启动时刻，根据每个任务时间轮信息对应的时间间隔、刻度数、启动时刻以及每个执行时刻和预设任务槽计算公式，确定每个同步任务的插槽下标；根据每个同步任务的插槽下标，确定每个同步任务在对应任务时间轮中的任务槽，其中，预设任务槽计算公式包括： ；其中，A_hour用于表征启动时刻对应的小时，A_minute用于表征启动时刻对应的分钟；B_hour用于表征执行时刻对应的小时，B_minute用于表征执行时刻对应的分钟；x用于表征执行时刻对应任务槽的插槽下标；所述将每个同步任务对写入对应的任务槽中，包括：创建每个任务槽对应的单向链表；根据每个同步任务的执行时刻确定每个同步任务在对应单向链表中的链表位置；根据每个同步任务对应的链表位置，将每个同步任务写入对应任务槽的单向链表中；其中，所述控制每个执行节点根据对应的调度时间轮执行同步任务，包括：识别每个调度时间轮的调度周期，并从每个调度时间轮中确定出当前时刻对应的待执行任务槽；获取所述待执行任务槽对应的待执行单向链表，并识别所述待执行单向链表中每个同步任务数据对应的执行时刻；根据每个执行时刻和当前时刻对应的调度周期，确定每个执行节点在当前时刻对应的目标同步任务，并执行对应的目标同步任务，所述目标同步任务为执行时刻位于当前时刻对应的调度周期内的同步任务；其中，还包括：对执行同步任务的过程进行记录生成回写日志，当所述回写日志中包含未执行成功的同步任务时，对所述未执行成功的同步任务进行异常标记，并将拥有异常标记的同步任务下发至下一轮的同步任务分配中，直至该拥有异常标记的同步任务被成功执行；其中，确定所述同步任务的方式，包括：获取多个同步脚本，并识别每个同步脚本对应的脚本特征和更新日期；根据每个脚本特征和策略映射关系，确定每个同步脚本对应的同步策略，所述策略映射关系为脚本特征与同步策略之间的对应关系；根据每个同步脚本的更新日期和同步策略，确定每个同步脚本在预设时间窗中的同步区域；将同步区域为更新区域的同步脚本确定为待更新同步脚本；还包括：当接收到关注同步指令时，识别所述关注同步指令中包含的同步特征类型，所述同步特征类型包含秒级调度和均衡调度；当所述同步特征类型为秒级调度时，将所述特征同步指令对应的同步任务分配至第一目标执行节点，并控制所述第一目标执行节点执行对应的同步任务；当所述同步特征类型为均衡调度时，识别每个执行节点的执行速率和执行安全等级，并基于所述关注同步指令对应的同步任务，每个执行节点的执行速率以及执行安全等级，确定每个同步任务对应的第二目标执行节点，并控制每个第二目标执行节点执行对应的同步任务。

全文数据：

权利要求：

百度查询： 深圳市长城网信息科技股份有限公司 分布式并行计算的数据同步实现方法、装置、系统及介质