买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海合合信息科技股份有限公司;上海临冠数据科技有限公司;上海生腾数据科技有限公司;上海盈五蓄数据科技有限公司

摘要：本申请公开了一种基于目标数据对齐的文本数据筛选方法。收集多条目标数据组成目标数据集。分别利用待筛选数据集、目标数据集作为训练数据，训练出待筛选数据语言特征提取模型、目标数据语言特征提取模型。采用两个模型对每条待筛选数据计算困惑度增益。采用嵌入式编码模型对每条待筛选数据和每条目标数据进行嵌入式编码，然后对每条待筛选数据都与所有的目标数据计算余弦相似度，取其中的最大值作为余弦相似度指标。根据每条待筛选数据的数据困惑度和余弦相似度指标，计算该条待筛选数据的最终得分；对所有待筛选数据的最终得分进行排序，挑选最终得分较高的待筛选数据作为筛选结果。本申请能提高筛选准确性，提高所选数据质量。

主权项：1.一种基于目标数据对齐的文本数据筛选方法，其特征是，包括如下步骤；步骤S1：待筛选数据集中包含多条待筛选数据；收集多条目标数据组成目标数据集；待筛选数据和目标数据都是文本数据；步骤S2：分别利用待筛选数据集、目标数据集作为训练数据，对同一种用于提取语言特征的机器学习模型进行训练，得到训练好的待筛选数据语言特征提取模型、目标数据语言特征提取模型；步骤S3：采用待筛选数据语言特征提取模型和目标数据语言特征提取模型对待筛选数据集中的每条待筛选数据计算困惑度增益；困惑度增益表征待筛选数据在这两个模型上的困惑度的差异；困惑度表征给定数据与某一模型的训练数据相比的合理程度；步骤S4：采用嵌入式编码模型对每条待筛选数据和每条目标数据进行嵌入式编码，然后对每条待筛选数据都与所有的目标数据计算余弦相似度，取其中的最大值作为该条待筛选数据x的余弦相似度指标；余弦相似度指标表征待筛选数据与目标数据集之间的语义相似性；所述步骤S2和步骤S3作为第一组，步骤S4作为第二组；这两组操作的顺序或者任意在前，或者同时进行，或者交叉进行；步骤S5：根据每条待筛选数据的数据困惑度和余弦相似度指标，计算该条待筛选数据的最终得分；对所有待筛选数据的最终得分进行排序，挑选最终得分较高的待筛选数据作为筛选结果。

全文数据：

权利要求：

百度查询： 上海合合信息科技股份有限公司 上海临冠数据科技有限公司 上海生腾数据科技有限公司 上海盈五蓄数据科技有限公司 一种基于目标数据对齐的文本数据筛选方法及系统