买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏省互联网行业管理服务中心

摘要：本发明公开了一种基于源码结构和资源链接的不良网站识别方法及系统，涉及信息安全技术领域。通过对源码和请求链接的抽取与清洗，减少了无效数据的干扰；通过文本预处理精准提取出能够代表网站特征的关键词和特征词；将多种特征综合表示，并通过降维减少数据维度，通过HDBSCAN聚类算法自动确定聚类的数量，并有效识别噪声点，生成稳定且准确的聚类结果，能够有效区分正常网站和不良网站；对新的网站数据，利用已有的聚类类型对网站进行标注和推断，或者输入批量网站进行重新聚类，对网站结构相似的网站进行标注，以识别新的不良网站模板，实现了对新网站的自动化标注和推断，适应动态变化的网络环境，提高了不良网站识别的准确性和及时性。

主权项：1.一种基于源码结构和资源链接的不良网站识别方法，其特征在于，所述方法包括：对网站源码进行抽取，并对抽取后的源码数据进行清洗；对网站网络请求进行抽取，并对抽取出的请求链接列表进行清洗；对清洗后的源码数据基于源码特征进行文本预处理，对清洗后的请求链接列表基于链接特征进行文本预处理；对文本预处理后的源码数据基于Doc2Vec进行向量化表示，得到源码向量；对文本预处理后的请求链接列表基于TF-IDF加权的Doc2Vec进行向量化表示，得到请求链接列表向量；对所述源码向量和请求链接列表向量进行文本合并和降维，产生新向量；采用基于密度的聚类算法HDBSCAN，对降维后产生的新向量进行文本聚类，设置邻域内最小样本数为50-100；类型推断：对新的网站数据，利用已有的聚类类型对网站进行标注和推断，或输入批量网站进行重新聚类，对网站结构相似的网站进行标注，以识别新的不良网站模板，并输出最终的推断结果；向量化表示的方法具体包括：对源码数据，直接使用Doc2vec算法，选择PV-DM训练模型进行训练，滑动窗口大小设置为5，嵌入维度为192，经过训练，将源码数据分别转换为192维的源码向量；对于请求链接列表，先对单一URL进行清洗处理，然后逐一对URL进行Doc2vec转换，再使用TF-IDF加权平均法获取请求链接列表向量；具体为：第i个链接的TF-IDF值的计算公式为： ；式中，表示第i个链接的TF-IDF值；为链接在请求链接列表dj中出现的频数，为链接的逆向文档频率；为链接在所处的请求链接列表dj中出现的频数，是请求链接列表dj中所有链接对应数之和；|D|表示训练语料库中所有链接的总数，表示语料库中包含链接ti的请求链接列表的数目；j为请求链接列表的索引；对于任一网站对应的请求链接列表的总文本向量表示，计算公式为： ；式中，为第1个链接的TF-IDF值，为第1个链接的Doc2Vec向量表示；为第2个链接的TF-IDF值，为第2个链接的Doc2Vec向量表示；为第3个链接的TF-IDF值，为第3个链接的Doc2Vec向量表示；为第n个链接的TF-IDF值，为第n个链接的Doc2Vec向量表示。

全文数据：

权利要求：

百度查询： 江苏省互联网行业管理服务中心 一种基于源码结构和资源链接的不良网站识别方法及系统