买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州今元标矩科技有限公司

摘要：本发明提供一种基于深度学习的CRM数据查重筛选方法、系统及介质，涉及数据查重技术领域，包括：获取系统中已通过查重的多组CRM数据以及使用网络爬虫获取多组互联网中的多组CRM数据；建立基础查重模型，将标准历史数据以及干扰历史数据放入基础查重模型中进行查重处理，其中，基础查重模型的建立基础为文本查重模型；基于基础查重模型的查重结果对基础查重模型进行改进；本发明用于解决现有技术中在对CRM数据进行查重时缺少对多个数据类型进行综合查重的改进，这会导致当同一客户发售多个订单时会被误认为重复导致订单被取消的问题。

主权项：1.一种基于深度学习的CRM数据查重筛选方法，其特征在于，包括：获取系统中已通过查重的多组CRM数据，记为标准历史数据，使用网络爬虫获取多组互联网中的多组CRM数据，记为干扰历史数据；建立基础查重模型，将标准历史数据以及干扰历史数据放入基础查重模型中进行查重处理，其中，基础查重模型的建立基础为文本查重模型；基于基础查重模型的查重结果对基础查重模型进行改进，将改进后的基础查重模型记为CRM查重模型；获取系统中已通过查重的多组CRM数据，记为标准历史数据，使用网络爬虫获取多组互联网中的多组CRM数据，记为干扰历史数据包括如下子步骤：获取系统中已通过查重的多组CRM数据，记为标准历史数据1至标准历史数据N1；使用网络爬虫获取互联网中的多组CRM数据，记为干扰历史数据1至干扰历史数据N2；其中，标准历史数据与干扰历史数据具有相同的数据类型，将所有数据类型记为数据类型1至数据类型M；建立基础查重模型，将标准历史数据以及干扰历史数据放入基础查重模型中进行查重处理包括如下子步骤：建立基础查重模型，所述基础查重模型的基础为文本查重模型；对于标准历史数据1至标准历史数据N1中的任意一个标准历史数据，使用标准查重法对标准历史数据进行查重，将标准历史数据1至标准历史数据N1中被查重的标准历史数据以外的标准历史数据记为标准查重库；将使用标准查重法查重后的标准历史数据记为标准查重数据；将干扰历史数据1至干扰历史数据N2记为干扰查重库，使用干扰查重法对标准查重数据进行查重，其中，将干扰历史数据1至干扰历史数据N2中的任意一个干扰历史数据替换为标准历史数据；将使用干扰查重法查重后的所有标准查重数据记为校准查重数据1至校准查重数据N1；所述标准查重法为：获取标准历史数据的数据类型1至数据类型M，记为标准类型1至标准类型M；对于标准类型1至标准类型M中的任意一个标准类型，获取标准类型在标准历史数据中的位置，记为待查重位置；将标准查重库中所有标准历史数据的待查重位置的数据类型以及数据类型对应的内容记为待查重数据库；使用基础查重模型对待查重位置所在的标准类型以及标准类型对应的内容进行查重处理，查重时使用的数据库为待查重数据库；将待查重数据库中数据类型的数量记为K1，其中，K1=N1-1；在基础查重模型开始进行查重处理时，每当待查重数据库中有一个数据类型以及数据类型对应的内容完全等于待查重位置的标准类型以及标准类型对应的内容时，将K2的值加1，其中，K2为正整数且初始为0，完全等于为数据类型与标准类型的文字相同且数据类型对应的内容与标准类型对应的内容的文字相同；将K2除以K1的值记为标准类型对应的标准权重；获取标准历史数据的标准类型1至标准类型M对应的所有标准权重，记为标准权重1至标准权重M；所述干扰查重法为：获取标准查重数据的标准权重1至标准权重M；对于任意一个标准权重对应的标准类型，将标准类型所在标准查重数据中的位置记为待干扰位置；获取干扰历史数据1至干扰历史数据N2中待干扰位置的数据类型，记为定位干扰类型1至定位干扰类型N2；将定位干扰类型1至定位干扰类型N2记为定位干扰数据库；使用基础查重模型标准类型以及标准类型对应的内容进行查重处理，查重处理所用的数据库为定位干扰数据库，每当定位干扰数据库中有一个定位干扰类型以及定位干扰类型对应的内容完全等于标准类型以及标准类型对应的内容时，将K3的值加1，其中，K3为正整数且初始为0；将K3除以N2的值记为干扰权重；获取标准查重数据的所有标准类型对应的干扰权重，记为干扰权重1至干扰权重M。

全文数据：

权利要求：

百度查询： 杭州今元标矩科技有限公司 一种基于深度学习的CRM数据查重筛选方法、系统及介质