买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:天津大学
摘要:本发明公开了一种基于时空兼容性的在网聚合任务调度系统及方法,系统由工作节点、参数服务器和交换机构成。工作节点通过排名计算器计算任务的通信计算比作为排名值并传输给交换机,高排名值表明对交换机内存更加敏感;哈希映射模块用于确定数据包在交换机聚合位置。参数服务器的哈希重映射模块处理数据包冲突。交换机的数据平面包括多个动态内存池以提供内存空间维度隔离减少数据包冲突;交换机控制平面存储任务标识符和排名值,定期更新并按排名降序排列,通过排名值进行任务调度以提供内存时间维度共享提高聚合效率;控制平面根据动态内存池争用程度动态调整内存池分配映射表。本发明优化内存利用率和在网聚合性能,减少死锁风险。
主权项:1.一种基于时空兼容性的在网聚合任务调度系统,包括多个工作节点、参数服务器和交换机,其特征在于,工作节点包括排名计算器和哈希映射模块,排名计算器用于计算通信计算比并作为排名值;哈希映射模块用于计算每个数据包的哈希值,进而确定数据包在交换机聚合位置;执行分布式机器学习数据并行训练任务时,排名计算器计算完成任务的第一次迭代所用通信时间与所用计算时间的比值,并将该比值作为排名值;工作节点将排名值写入第二次迭代的第一个数据包中传输给交换机;参数服务器包括用于对冲突数据包进行重新映射的哈希重映射模块;交换机包括控制平面、数据平面;控制平面存储每个任务的任务标识符以及相应的排名值,并周期性地更新排名值,其将任务的任务标识符根据排名值进行降序排列;数据平面包括多个动态内存池,每个内存池包含相同数量的聚合器;控制平面设有用于调度执行在网聚合任务的映射表,映射表包括将任务派发至对应内存池的内存池分配映射表;控制平面根据动态内存池争用程度动态调整内存池分配映射表;当任务数量少于内存池数量时,每个任务分配单独的内存池;当任务数量超过内存池数量时,多个任务共享一个内存池;控制平面设置内存冲突次数阈值和聚合次数阈值,并实时记录每个内存池的聚合次数和内存冲突次数,如果一内存池聚合次数和内存冲突次数均低于对应的阈值,将排序在前的任务分配进该内存池,反之则认为该内存池冲突严重,并从该内存池中驱逐低优先级任务。
全文数据:
权利要求:
百度查询: 天津大学 一种基于时空兼容性的在网聚合任务调度系统及方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。