买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：之江实验室

摘要：本发明涉及多维数据分析领域，具体为一种基于字段语义的数据表自动join推荐方法，包括：步骤1，将待join的两数据表中的字段两两组合，作为计算相似度值的集合；步骤2，推断出字段的语义类型；步骤3，判断两字段的数据类型和语义类型是否一致，再判断两字段名是否一致，接着判断两字段值是否存在枚举类；步骤4，分别计算字段名相似度和字段值的相似度，后通过加权求和，得到匹配系数，即两字段的相似度；步骤5，将所有字段的相似度的分值从高到低进行排序并输出提取前20条，作为推荐。本发明通过对数据表字段名和字段值的分析来推荐join的联接子句，更准确更全面地帮助用户发现多维数据隐藏的关联信息，有效地提升大数据分析系统的智能化水平。

主权项：1.一种基于字段语义的数据表自动join推荐方法，其特征在于，包括如下步骤：步骤1，将待join的两数据表中的字段两两组合，作为计算相似度值的集合；步骤2，推断出字段的语义类型；步骤3，判断两字段的数据类型和语义类型是否一致，再判断两字段名是否一致，接着判断两字段值是否存在枚举类；所述步骤3，具体为：匹配字段的数据类型，对不同类型的字段不进行推荐，对相同类型的字段先判断字段名是否一样，忽略大小写，若一样则直接返回相似度分值t=1，即匹配系数，否则判断两字段值是否存在枚举类，即判断是否满足：不同数值的数量总数据量0.02，若满足则不进行推荐；步骤4，分别计算字段名相似度和字段值的相似度，后通过加权求和，得到匹配系数，即两字段的相似度；所述步骤4，具体为：若不是枚举类，则分别计算字段名相似度分值t1和字段值的相似度分值t2，再通过加权求和，表达式为：t=0.3×t1+0.7×t2，得到匹配系数；所述字段名和字段值的相似度计算均采用单词词向量来计算，单词词向量维度相同，通过计算词向量距离来衡量单词的语义相似度；所述单词词向量通过神经网络语义模型训练文本分类得到；所述计算字段名相似度，具体包括如下步骤：S1，对字段名预处理，将大写字母变成小写字，把除字母、数字和中文以外的字符变成空格；S2，将预处理后的字段按空格划分成词组；S3，使用FastText计算词组内各单词的词向量；S4，各单词的词向量求平均后得到字段的词向量；S5，计算两字段词向量的余弦夹角，作为字段名的相似度；所述字段值的相似度计算，按字段类型分类，包括：数值类型、日期类型、字符串类型三种情况；对于数值类型，先计算所有记录的归一化直方图，再计算直方图的余弦相似度；对于日期类型，直接设相似度分值为1，即表示匹配；对于字符串类型，各取X条随机记录作为词组来计算字段值相似度，后将X条字段值相似度按空格组合成一个新的字符串，该相似度计算参考字段名相似度计算过程；步骤5，将所有字段的相似度的分值从高到低进行排序并输出提取前20条，作为推荐。

全文数据：

权利要求：

百度查询： 之江实验室 一种基于字段语义的数据表自动join推荐方法