买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:安徽大学
摘要:本发明提出的一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法,首先在存储系统中设置多个NDP设备,组成多NDP的可计算存储阵列,每一个NDP设备设置一个对应的键值阈值,并根据键值阈值对NDP设备进行排序,获取各NDP设备的键值区间;主机端将获取的存储数据分发到各NDP设备进行存储;当触发压缩任务时,首先获取参与压缩的文件,结合参与压缩的文件的键值范围和键值阈值,将参与压缩的文件分配到对应的NDP设备进行压缩和存储。本发明通过压缩任务的动态分割和分配,达到主机端CPU与NDP设备阵列多CPU协同的效果,且实现了NDP设备与键值存储系统的横向扩展能力,通过NDP设备阵列扩展了存储资源和计算资源。
主权项:1.一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,首先在存储系统中设置多个NDP设备,每一个NDP设备设置一个对应的键值阈值,并根据键值阈值对NDP设备进行排序,获取各NDP设备的键值区间;主机端将获取的存储数据分发到各NDP设备进行存储;当触发压缩任务时,首先获取参与压缩的文件,结合参与压缩的文件的键值范围和键值阈值,将参与压缩的文件分配到对应的NDP设备进行压缩任务的并行执行和存储;步骤S4中,将参与压缩的文件平均分割为两个任务;还包括:对各NDP的任务进程进行实时监控,当任一NDP设备压缩任务进程耗时时间达到预设的耗时上限值,或者任一NDP设备的空闲时间达到预设的闲置上限值,则对NDP设备的键值阈值进行调整,使各NDP设备的压缩任务均衡分布;当任一NDP设备压缩任务进程耗时时间达到预设的耗时上限值时,对NDP设备的键值阈值进行调整的方式为:以长时间处于压缩进程的NDP设备作为分出对象,从分出对象的相邻的NDP设备中获得目标对象,调整位于分出对象与目标对象键值范围分界点上的键值阈值,以扩大目标对象的阈值区间并缩小分出对象的阈值区间;目标对象为分出对象相邻的NDP设备中获得的压缩任务较小的NDP设备。
全文数据:
权利要求:
百度查询: 安徽大学 基于多NDP协同主机端执行并行任务的KV存储系统优化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。