恭喜浪潮软件科技有限公司陈焕新获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浪潮软件科技有限公司申请的专利优化跨域数据编织计算效能的数据加速处理方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119046019B 。
龙图腾网通过国家知识产权局官网在2025-05-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411534312.0,技术领域涉及:G06F9/50;该发明授权优化跨域数据编织计算效能的数据加速处理方法及系统是由陈焕新;王彦功;李存冰;王金超;吴镝;杨建;李显亮;王玲设计研发完成,并于2024-10-31向国家知识产权局提交的专利申请。
本优化跨域数据编织计算效能的数据加速处理方法及系统在说明书摘要公布了:本发明公开一种优化跨域数据编织计算效能的数据加速处理方法及系统,涉及大数据处理与分析技术领域,针对当前跨域数据编织计算效率低的问题,采用方案:在数据采集环节构建分布式的数据采集架构,以通过优化参数和配置各节点数据采集策略实现对原始数据的定时采集或触发采集;在数据预处理环节搭建数据压缩器,以对采集的原始数据进行数据压缩,并输出到数据编织引擎;在数据协同计算环节构建数据加速引擎,以优化数据在数据编织引擎的存储和访问路径;在数据资源调度环节构建智能调度模型,以根据计算任务的优先级、资源可用性和网络带宽,动态调整计算任务的调度策略,生成调度方案。本发明可以提升跨域数据编织过程的计算效率与传输速度。
本发明授权优化跨域数据编织计算效能的数据加速处理方法及系统在权利要求书中公布了:1.一种优化跨域数据编织计算效能的数据加速处理方法,其特征在于,包括如下步骤:S1、在数据采集环节,构建分布式的数据采集架构,所述分布式的数据采集架构采用分布式架构的FLink集群,通过优化TaskManager参数和配置各节点数据采集策略,实现对原始数据的定时采集或触发采集,这一过程具体包括:首先,通过每秒的数据量、每条数据的大小、去重key的数量和每个key的state大小,来计算Flink集群规模的节点个数;其次,配置TaskManager任务数量,将整体的数据采集任务根据TaskManager数量进行分解,将其分解成多个并行执行的子任务,分解后的子任务会被分配给不同的采集节点,每个节点负责完成一部分采集任务;其中,TaskManager数量计算方式为:num_of_tm=ceilparallelismslot,parallelism表示并行度,slot表示每个TaskManager的slot数量;最后,配置各节点数据采集策略,对原始数据进行定时采集或触发采集;S2、在数据预处理环节,搭建数据压缩器,所述数据压缩器采用Gzip作为数据压缩算法,对通过Flink集群采集到的原始数据进行数据压缩,并将压缩后的数据输出到Trino引擎中;S3、在数据协同计算环节,构建数据加速引擎,所述数据加速引擎采用数据缓存视图和自适应物化加速两种方式,优化数据在Trino引擎中的存储和访问路径,提升数据协同计算效率;S4、在数据资源调度环节,构建智能调度模型,所述智能调度模型根据计算任务的优先级、资源可用性和网络带宽,动态调整计算任务的调度策略,生成调度方案,随后将生成的调度方案转化为具体的执行指令,并传输给对应计算资源池中进行协同计算处理,实现计算资源的合理分配和高效利用。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浪潮软件科技有限公司,其通讯地址为:250000 山东省济南市高新区浪潮路1036号浪潮科技园;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。