买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：成都无糖信息技术有限公司

摘要：本发明公开了一种海量短文本去重方法及系统，第一步，通过对文本进行预处理，便于后续计算；第二步，使用MinHash方案，将文本编码为MinHash向量；第三步，将第二步中生成的MinHash向量存储到MinHash向量库，MinHash向量库分为临时向量库和持久向量库中；第四步设置多级距离阈值，并利用分桶技术，对MinHash向量库建立索引；第五步，缓存流式数据，并在积累一定数据之后形成批数据，并对批数据进行去重分析，结束流程。本发明解决了现有技术对短文本定位不准确、对向量的存储成本和召回计算成本太高的问题。

主权项：1.一种海量短文本去重方法，其特征在于，第一步，通过对文本进行预处理，使文本方便后续的操作；第二步，使用MinHash方案，将文本编码为MinHash向量；第三步，将第二步中生成的MinHash向量存储到MinHash向量库，MinHash向量库分为临时向量库和持久向量库中；第四步，设置多级距离阈值，并利用分桶技术，对MinHash向量库建立索引；第五步，缓存流式数据，并在积累一定数据并形成批数据，并对批数据进行去重分析，结束流程；所述第三步中的临时向量库只储存某一批数据的向量，当所储存的这一批数据的向量的批作业结束时即释放空间；持久向量库储存全局数据的向量；所述第四步详细过程如下：首先输入文本，然后利用第二步的方法得到该文本的MinHash向量，并将其定义为查询向量；然后计算向量库的每个桶心与查询向量的距离，并选取特定数值个距离最近的桶心，遍历桶内所有的向量，计算每个向量与查询向量的距离；当存在有一个向量与查询向量的距离小于距离阈值时，退出第四步中的遍历过程，然后判定为两向量所代表的文本相似重复；若遍历结束，不存在任何一个向量与查询向量的距离小于阈值，则判定查询向量所代表的文本不与任何一条历史文本数据相似重复，同时在与查询向量距离最小的桶内插入该查询向量；所述第五步中，具体流程如下：首先缓存流式数据，并形成批数据，设批数据有B个文本；将批数据输入第二步，得到所有文本的MinHash向量；遍历MinHash向量，使用临时向量库和第四步的方法，得到所有的相似文本对；以第一个入库的MinHash向量所对应的文本作为簇心，将所有相似文本对归入对应的簇中；簇心的数量为i个，i小于等于B；遍历所有簇心，使用持久向量库和第四步中的方法，召回所有簇心的相似文本对，流程结束；所述第五步中，若簇心存在相似文本，则判定该簇内所有的文本与召回的相似文本相似重复；若不存在相似文本，则判定簇内所有文本与该簇心相似重复。

全文数据：

权利要求：

百度查询： 成都无糖信息技术有限公司 一种海量短文本去重方法及系统