买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国工商银行股份有限公司

摘要：本申请实施例提供一种数据预处理方法及装置，也可用于金融领域，方法包括：对收集到的样本数据进行特征分类，并确定所述样本数据的特征类型数量和特征整体缺失率；对所述样本数据中各特征类别的样本数据进行特征探索和异常检测，确定各特征类别的样本数据的特征分布、特征空值率、特征相关关系以及异常样本；根据所述样本数据的特征类型数量和所述特征整体缺失率以及各特征类别的样本数据的特征分布、特征空值率、特征相关关系、样本聚类结果中的至少一种，生成所述样本数据的数据探索综述、数据探索结果报告和异常检测结果报告；本申请能够有效提高数据预处理的效率和准确率。

主权项：1.一种数据预处理方法，其特征在于，所述方法包括：对收集到的样本数据进行特征分类，并确定所述样本数据的特征类型数量和特征整体缺失率；对所述样本数据中各特征类别的样本数据进行特征探索和异常检测，确定各特征类别的样本数据的特征分布、特征空值率、特征相关关系以及异常样本；根据所述样本数据的特征类型数量和所述特征整体缺失率以及各特征类别的样本数据的特征分布、特征空值率、特征相关关系、样本聚类结果中的至少一种，生成所述样本数据的数据探索综述、数据探索结果报告和异常检测结果报告；所述根据所述样本数据的特征类型数量和所述特征整体缺失率以及各特征类别的样本数据的特征分布、特征空值率、特征相关关系、样本聚类结果中的至少一种，生成所述样本数据的数据探索综述和数据探索结果报告，包括：根据所述样本数据的特征类型数量确定数据探索综述中的样本数据概述信息；对特征类别为连续型单变量特征、离散型特征以及日期型特征的样本数据探索结果进行变量遍历输出，确定数据探索结果报告中的特征分布信息和特征空值率信息；计算特征类别为连续型多变量特征的样本数据的两两相关系数，确定数据探索结果报告中的特征相关关系信息；根据所述样本数据的特征整体缺失率中缺失比例大于阈值的各特征及对应的缺失数值，确定异常检测结果报告中的整体缺失统计信息；进行特征探索并确定异常特征，根据所述异常特征确定所述异常检测结果报告中的异常特征清单；根据预设聚类算法确定所述样本数据中的低数据量异常样本数据，根据所述低数据量异常样本数据确定异常检测结果报告中的异常样本清单。

全文数据：

权利要求：

百度查询： 中国工商银行股份有限公司 数据预处理方法及装置