买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门渊亭信息科技有限公司

摘要：本发明提供了一种基于K均值聚类的数据识别方法、系统、设备及存储介质，包括：对输入的数据集进行清洗和标准化处理，获得预处理数据；通过遗传算法确定K均值聚类的初始中心；对预处理数据执行K均值聚类，并且执行聚类期间动态调整聚类数目K，获得聚类结果；利用内部评价指标、外部评价指标以及相对评价指标对聚类结果进行评估，去除未达标的聚类结果后，获得待处理聚类结果；基于待处理聚类结果，识别并标记出对深度学习模型训练质量影响最大的数据点，数据点位于聚类中心或密集区域；将识别出的数据点组成训练数据集，供深度学习模型训练使用。利用先进的聚类算法和自动化处理技术，显著提高了处理大数据集的效率和数据识别的精度。

主权项：1.一种基于K均值聚类的数据识别方法，其特征在于，所述方法包括以下步骤：S1、对输入的数据集进行清洗和标准化处理，获得预处理数据；S2、通过遗传算法确定K均值聚类的初始中心；包括以下子步骤：S21、将聚类中心编码为遗传算法的染色体，每个所述染色体代表一组聚类中心，其中所述聚类中心由所述预处理数据中的一个数据点表示，随机选择数据点作为初始聚类中心，生成多个染色体，其中种群的大小由所述遗传算法的参数设定；S22、使用聚类适应度函数对每个所述染色体评估适应度，根据所述适应度选择染色体进入下一代；S23、随机配对步骤S22中进入下一代的染色体，并以第一预设概率进行交叉操作，生成新的染色体；S24、以第二预设概率随机修改步骤S23中所述新的染色体中的一个或多个基因，获得变异染色体；S25、重复执行步骤S22至S24，直至达到最大迭代次数；S26、迭代结束后，从最终种群中选择所述适应度最高的染色体作为最终的K均值聚类的初始中心；在步骤S22中，所述聚类适应度函数包括：总内部平方函数、综合距离和密度的适应度函数、考虑离群值的适应度函数、模糊聚类适应度函数以及能量函数式适应度函数；其中，所述总内部平方函数测量的是每个数据点到其聚类中心的距离的平方和，适用于聚类内的数据点紧密聚集在一起的情况，其表达式为： 式中表示总内部平方函数，是聚类的数量，是第个聚类，是的数据点，是的聚类中心；所述综合距离和密度的适应度函数适用于数据集中聚类的大小、形状和密度不均匀的情况，其表达式为： 式中表示综合距离和密度的适应度函数；是调节参数；是的聚类中心，是的聚类中心，是数据点的局部密度；所述考虑离群值的适应度函数适用于数据集中存在离群值，并且离群值的影响需要被处理的情况，其表达式为： 式中表示考虑离群值的适应度函数，是的聚类中心，是数据点的离群程度的权重，由数据点与最近聚类中心的距离决定；所述模糊聚类适应度函数适用于数据点属于多个聚类的情况，其表达式为： 式中表示模糊聚类适应度函数是数据点属于聚类的隶属度，是模糊系数，是的聚类中心；所述能量函数式适应度函数适用于希望通过模拟物理过程发现数据结构的情况，其表达式为： 式中表示能量函数式适应度函数，是的聚类中心，是的聚类中心；S3、对所述预处理数据执行K均值聚类，并且执行聚类期间动态调整聚类数目K，获得聚类结果；S4、利用内部评价指标、外部评价指标以及相对评价指标对所述聚类结果进行评估，去除未达标的聚类结果后，获得待处理聚类结果；其中所述内部评价指标的表达式为： 式中表示内部评价指标，是同一聚类中所有数据点间的平均距离，是到最近聚类的所有数据点的平均距离；所述外部评价指标的表达式为： 式中表示外部评价指标，是聚类结果和真实类标签之间的互信息，和分别是真实类标签和聚类结果的熵；所述相对评价指标的表达式为： 式中表示相对评价指标，是第个聚类内的平均距离，是第个聚类内的平均距离，是第个聚类的中心，是不同聚类中心之间的距离；对所述聚类结果进行评估包括以下子步骤：S41、分析所述预处理数据的关键特性，所述关键特性包括：维度大小、样本量、特征间的相关性及分布均匀性，使用统计测试方法评估所述预处理数据的分布特征；S42、基于所述关键特性使用决策树或规则引擎选择合适的聚类评价指标；S43、实时收集聚类过程中的聚类性能反馈，并根据所述聚类性能反馈调整所述聚类评价指标；S5、基于所述待处理聚类结果，识别并标记出对深度学习模型训练质量影响最大的数据点，所述数据点位于聚类中心或密集区域；S6、将识别出的所述数据点组成训练数据集，供深度学习模型训练使用。

全文数据：

权利要求：

百度查询： 厦门渊亭信息科技有限公司 基于K均值聚类的数据识别方法、系统、设备及存储介质