龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京大学
摘要：本发明涉及一种基于负载均衡的知识图谱分布式海量数据导入方法，属于知识图谱数据导入技术领域，所述方法包括以下步骤：S1、搭建Spark分布式计算集群；S2、解决Janusgraph与Spark的jar包依赖冲突和版本冲突，使用SparkGraphComputer接口进行连接测试；S3、调研Spark进行图数据批量导入作业所擅长处理的输入文件格式，按照所述文件格式生成数据；S4、根据数据导入完整性和数据导入速度调整对Spark集群worker节点的资源分配，优化导入速度；S5、对数据中的超级节点进行切分和负载均衡，加速对超级节点数据的导入。本发明提供的方法通过分布式计算能够大幅度提升数据导入效率，通过基于节点切分的负载均衡方法使得对于超级节点数据导入实现并行化，最终达到对于超级节点数据的高效导入。
主权项：1.一种基于负载均衡的知识图谱分布式海量数据导入方法，包括以下步骤：S1、搭建Spark分布式计算集群；S2、解决Janusgraph与Spark的jar包依赖冲突、版本冲突，使用SparkGraphComputer接口进行连接测试；S3、调研Spark进行图数据批量导入作业所擅长处理的输入文件格式，按照所述文件格式生成数据；S4、根据数据导入完整性和数据导入速度调整对Spark集群worker节点的资源分配，优化导入速度；S5、对数据中的超级节点进行切分并且进行负载均衡，加速对超级节点数据的导入，具体为：将具有多条边属性的一个节点的一行拆成多行，将所述文件按照Executor的数量进行分块，保证每块包含的边的数量加属性的数量一致，构造GraphSon-Average文件，使得工作负载平均分配到多台机器上。
全文数据：
权利要求：
百度查询： 北京大学 基于负载均衡的知识图谱分布式海量数据导入方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号