买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨兴业宝科技有限公司

摘要：本发明提供一种基于Spark分布式计算的商品名余弦相似度匹配方法，包括：在物理服务器上构建具有虚拟机的HDFS文件系统和Spark平台，并将数据集上传到HDFS文件系统中；通过客户端向Spark平台提交作业，转换为弹性分布式数据集DataFrame并划分为训练集和测试集，将训练集划分为倾斜数据集和不倾斜数据集；对于倾斜数据集，进行join自连接后在分区内采用传统算法计算相似度；对于不倾斜数据集计算相似度；通过Catalyst优化策略，最后将结果输出。本发明解决对商品名特征向量维度过高、空间复杂度高、不便于存储和计算等问题，以及根据分区策略和优化算法去除无效计算。

主权项：1.基于Spark分布式计算的商品名余弦相似度匹配方法，其特征在于，包括以下步骤：步骤1、在物理服务器上构建具有虚拟机的HDFS文件系统和Spark平台，并将数据集上传到HDFS文件系统中；所述的数据集来源公司，其中商品表字段包括商品名、商品ID、分类ID，其中分类统计表字段包括分类ID、数据量区间；步骤2、通过客户端向Spark平台提交作业，Spark平台通过SparkSql从HDFS文件系统中读取数据，将读取的数据表转换为弹性分布式数据集DataFrame并划分为训练集和测试集，将其存储在内存中；步骤3、通过Sample算子对训练集进行采样，统计采样结果并将训练集划分为倾斜数据集和不倾斜数据集；步骤4、对于倾斜数据集，进行join自连接后在分区内采用传统算法计算相似度；对于不倾斜数据集采用步骤5～11计算相似度；步骤5、在Spark平台将训练集通过发明的方法获取最大最小相似度阈值及最佳相似度阈值；步骤6、在Spark平台将测试集中的商品名字段进行分词并合并到DataFrame中；步骤7、通过商品集的分类字段进行分类，并将同一分类中的数据的字段聚合并将聚合；步骤8、数据重新进行哈希分区，通过Catalyst优化策略减少因哈希冲突导致的数据倾斜；步骤9、在分区内通过改进的相似度算法及策略计算同一分类的各个商品间相似度；步骤10、通过步骤4的获得的最大最小相似度阈值及最佳相似度阈值以及改进算法的规则对计算后的DataFrame进行过滤并输出；步骤11、通过Catalyst优化策略，最后将结果输出。

全文数据：

权利要求：

百度查询： 哈尔滨兴业宝科技有限公司 基于Spark分布式计算的商品名余弦相似度匹配方法